Zaawansowane zagadnienia dotyczące definicji testów wstecznych
Co definicja testów wstecznych oznacza w ujęciu zaawansowanym
Testy wsteczne to proces oceny zdefiniowanego zestawu reguł decyzyjnych na historycznych danych rynkowych w celu oszacowania, jak dany zestaw reguł mógłby zachować się w przeszłości. Zaawansowanym zagadnieniem jest to, że test wsteczny nie jest „wynikiem strategii” samym w sobie; jest symulacją, której wynik zależy od przyjętych założeń dotyczących danych i wykonania.
Aby dokładnie wyjaśnić testy wsteczne, należy rozdzielić trzy warstwy:
- Reguły: precyzyjna logika wejścia/wyjścia lub decyzji, którą chcesz przetestować.
- Dane rynkowe: historyczne ceny, znaczniki czasu i wszelkie pola pochodne, które wprowadzasz do symulacji.
- Model wykonania: w jaki sposób transakcje zostałyby zrealizowane w Twoim symulowanym środowisku.
Solidna definicja testów wstecznych obejmuje wymóg, aby wszystkie trzy warstwy były jawne, powtarzalne i niezależnie weryfikowalne.
Mechanizm: prosty model i jego części
Prosty model testów wstecznych to: reguły + dane + założenia dotyczące wykonania → symulowane transakcje → wskaźniki wyników. Zaawansowane pytania dotyczą tego, co należy określić, aby wynik był znaczący.
Dane wejściowe, które muszą być zdefiniowane
- Podstawa czasowa i wyrównanie: Jaki rozmiar świecy lub częstotliwość próbkowania jest używany i jak sygnały są oznaczane czasowo względem zmian cen.
- Granularność danych: Użycie danych zagregowanych (takich jak świece) w porównaniu z danymi o wyższej rozdzielczości zmienia to, co „mogło się wydarzyć” w trakcie świecy.
- Koszty i tarcia: Uwzględnij koszty transakcyjne, które zdecydujesz się modelować (prowizje, spready, efekty podobne do finansowania, jeśli mają zastosowanie) i określ, kiedy mają zastosowanie.
- Logika zleceń i realizacji: Zdecyduj, w jaki sposób zlecenia są realizowane (np. po następnej dostępnej cenie, po zamodelowanej cenie skorygowanej o spread lub przy użyciu założeń dotyczących realizacji zleceń limitowanych). Jest to często największe źródło rozbieżności.
Wskaźniki wyników wynikające z symulacji
Testy wsteczne zwykle podsumowują wyniki za pomocą wskaźników, takich jak skumulowany zwrot, maksymalne obsunięcie kapitału, rozkład zysków/strat i miary skorygowane o ryzyko. Zaawansowanym punktem jest to, że wskaźniki są tak wiarygodne, jak założenia symulacji, które wygenerowały historię transakcji używaną do ich obliczenia.
Przypadki brzegowe i tryby awarii, które zmieniają znaczenie testu wstecznego
Testy wsteczne mogą zawieść w sposób cichy. Zaawansowane zagadnienia koncentrują się na warunkach, w których testowanie historyczne może stać się mylące.
Błędy wyprzedzania i błędy czasowe
Test wsteczny może przypadkowo wykorzystać informacje, które nie byłyby dostępne w momencie podejmowania decyzji. Może się to zdarzyć z powodu:
- Obliczeń wskaźników, które domyślnie wykorzystują przyszłe dane.
- Sygnałów generowanych z jednego znacznika czasu, ale stosowanych do następnej świecy tak, jakby były już znane.
Nawet małe błędy czasowe mogą dać wyniki, które są nie tylko „optymistyczne”, ale zasadniczo niezgodne z realizacją w czasie rzeczywistym.
Błędy przetrwania i błędy selekcji danych
Jeśli w historycznym zbiorze danych pominięto instrumenty, okresy lub rekordy notowań, które później zniknęły, test wsteczny może zawyżać realizm. Podobnie wybieranie tylko „dobrych” okresów bez wcześniej zdefiniowanej reguły dotyczącej tego, jakie dane są uwzględniane, może stworzyć mylące wrażenie wyników.
Brakujące dane i interpolacja
Rzeczywiste historyczne strumienie danych mogą mieć luki lub nieregularne próbkowanie. Test wsteczny, który wypełnia brakujące wartości (lub zakłada płynny ruch między znacznikami czasu), może symulować ceny, które w rzeczywistości nigdy nie były notowane w sposób wymagany przez Twój model realizacji.
Przeuczenie poprzez wielokrotne dostrajanie
Gdy reguły są dostosowywane w celu maksymalizacji wyników z przeszłości, można dopasować się do szumu, a nie do struktury. Zaawansowana definicja testów wstecznych obejmuje zatem ideę rozdzielenia między selekcją modelu a oceną (na przykład poprzez użycie odrębnych okresów lub podejścia kroczącego) i wymaga, aby okres oceny nie był używany podczas dostrajania.
Ograniczenia realizmu wykonania
Historyczne świece nie ujawniają pełnej ścieżki w obrębie świecy. Jeśli Twój model wykonania zakłada realizację po cenach, które mogłyby wystąpić tylko przy bardziej szczegółowych informacjach, wyniki mogą odbiegać od jakiegokolwiek prawdopodobnego rzeczywistego wykonania. Jest to podstawowe ograniczenie: rozdzielczość danych i założenia dotyczące realizacji wspólnie decydują o realizmie.
Ograniczenia i ryzyka: co można zweryfikować, a czego nie
Test wsteczny może wspierać niektóre rodzaje weryfikacji, ale nie może usunąć niepewności.
Co może pomóc zrozumieć
- Czy zestaw reguł zachowuje się spójnie w różnych warunkach historycznych.
- Czy wyniki pogarszają się przy bardziej konserwatywnych założeniach (np. wyższych zamodelowanych kosztach lub bardziej rygorystycznej logice realizacji).
- Czy wyniki zależą od kruchych przypadków brzegowych (takich jak rzadkie zdarzenia lub wąskie okno czasowe).
Czego nie może zagwarantować
- Przyszłych wyników: historyczne zależności nie ustanawiają przyszłych wyników.
- Bezpieczeństwa: test wsteczny nie dowodzi, że obsunięcia kapitału lub niekorzystne warunki rynkowe nie wystąpią.
- Dokładności predykcyjnej: testy wsteczne są szacunkiem opartym na założeniach, a nie dowodem.
Te ograniczenia mają zastosowanie nawet wtedy, gdy test wsteczny jest wewnętrznie spójny.
Jak niezależnie zweryfikować definicję testów wstecznych
Aby zweryfikować znaczenie testu wstecznego, traktuj go jak powtarzalny eksperyment.
- Sprawdź łańcuch założeń: potwierdź, jak reguły, znaczniki czasu danych i logika realizacji współdziałają.
- Przetestuj niezmienniczość wobec rozsądnych zmian: zmień granularność danych, założenia kosztowe lub założenia czasowe w z góry określonym zakresie, aby sprawdzić, czy wnioski zależą od jednego kruchego wyboru.
- Użyj oceny poza próbą: oddziel okres używany do ustawiania parametrów od okresu używanego do pomiaru wyników.
- Udokumentuj wszystko, co jest potrzebne do odtworzenia symulacji: dokładne definicje reguł, opis źródła danych i model wykonania.
Jasna definicja testów wstecznych jest zatem nie tylko opisem „uruchamiania na historii”, ale także listą kontrolną założeń i metodą sprawdzania, czy wynik jest wrażliwy na te założenia.
Kolejne pytania do wyjaśnienia przed zaufaniem wynikom testów wstecznych
Zanim będziesz mógł wyjaśnić lub polegać na jakichkolwiek wynikach testów wstecznych, wyjaśnij:
- Jakie dokładne wyrównanie czasowe jest używane między tworzeniem sygnału a decyzją transakcyjną?
- Jaka rozdzielczość danych wspiera Twój model wykonania i co się dzieje, gdy jej nie ma?
- Które części były dostrajane, a które oceniane, i w jaki sposób wymuszono rozdzielenie?
- Które tryby awarii (błędy czasowe, brakujące dane, przeuczenie) zostały specjalnie przetestowane?
Jeśli te punkty nie są jawne, „testy wsteczne” stają się niejednoznaczne—a wynik testu wstecznego nie może być znacząco zinterpretowany.