Ograniczenia praktyki testów wstecznych
Praktyka testów wstecznych w prostych słowach
Praktyka testów wstecznych to proces oceny pomysłu handlowego (na przykład regułowego wejścia i wyjścia) poprzez uruchomienie go na historycznych danych cenowych. Celem jest oszacowanie, co pomysł mógłby przynieść w przeszłości, gdyby zastosowano te same reguły.
Test wsteczny zazwyczaj obejmuje (1) dane historyczne, (2) regułę lub model generujący działania na podstawie tych danych oraz (3) sposób obliczania wyników, takich jak zysk i strata, maksymalne obsunięcie kapitału oraz częstotliwość zysków i strat. Obliczenia te opierają się na założeniach dotyczących tego, co działo się w każdym okresie (na przykład, jak ceny zmieniały się między zarejestrowanymi punktami danych) oraz dotyczących wykonania transakcji (na przykład prowizji, spreadów i tego, czy zlecenia zostały zrealizowane).
Dlaczego testy wsteczne mogą być mniej przydatne, niż się wydaje
Kluczowym ograniczeniem jest to, że test wsteczny jest symulacją przeszłości, a nie obserwacją przyszłości. Nawet gdy wyniki historyczne wyglądają dobrze, zależności wyuczone z historii mogą się nie powtórzyć w nowych warunkach rynkowych. Poniższe ograniczenia wyjaśniają typowe przyczyny niepowodzeń.
1) Luki w danych historycznych i mikrostrukturze rynku
Większość testów wstecznych wykorzystuje zarejestrowane słupki cenowe lub ticki, ale prawdziwy handel obejmuje więcej szczegółów, niż rejestruje wiele zbiorów danych. Jeśli Twoje dane historyczne są niekompletne, skorygowane w sposób zmieniający znaczenie ceny lub pozbawione informacji potrzebnych do modelowania realizacji zleceń, test wsteczny może odbiegać od tego, co wydarzyłoby się w handlu na żywo.
Ponadto odwzorowanie zarejestrowanych cen na możliwe realizacje zleceń jest niepewne. Na przykład, jeśli reguła zakłada realizację na określonym poziomie cenowym, ale w rzeczywistości rynek mógł przesunąć się poza ten poziom, zanim zlecenie mogło zostać wykonane, symulacja staje się optymistyczna.
2) Założenia dotyczące kosztów, jakości wykonania i poślizgu cenowego
Nawet jeśli logika strategii jest poprawna, wyniki w dużej mierze zależą od założeń dotyczących kosztów transakcyjnych i wykonania. Testy wsteczne czasami wykorzystują uproszczone modele kosztów (na przykład stałe spready lub brak poślizgu) lub zakładają idealną realizację zleceń. W praktyce spready się poszerzają, płynność się zmienia, a poślizg może się różnić w zależności od zmienności i pory dnia.
Ponieważ niewielkie różnice w kosztach mogą się kumulować przy wielu transakcjach, test wsteczny, który ignoruje lub niedoszacowuje tych efektów, może zawyżać wyniki.
3) Przeuczenie i podglądanie danych
Testy wsteczne mogą nieumyślnie „dopasować się” do szumu konkretnego zbioru danych. Dzieje się tak, gdy wypróbowuje się wiele parametrów i wybiera te, które poprawiły wyniki przeszłe. Im więcej szukasz kombinacji, która dobrze wygląda na tych samych danych, tym większa szansa, że pozorna przewaga jest specyficzna dla tego okresu, a nie ogólną właściwością rynku.
Powiązanym problemem jest podglądanie danych: wielokrotne testowanie wielu wariantów, aż jeden będzie wyglądał na dobrze działający. Bez starannego oddzielenia okresów treningowych i testowych, dobre wyniki przeszłe mogą nie odzwierciedlać powtarzalnego mechanizmu.
4) Rynki niestacjonarne i zmieniające się warunki
Rynki nie są systemami stabilnymi. Reżimy zmienności się zmieniają, uczestnictwo się przesuwa, a płynność może się przemieszczać. Reguła, która działała w jednym środowisku, może zachowywać się inaczej, gdy zmienią się spready, zmienność lub korelacje.
Nawet bez zdarzeń regulacyjnych lub strukturalnych, właściwości statystyczne szeregów cenowych mogą dryfować. Oznacza to, że założenia, które były domyślnie „wbudowane” w testowanym okresie, mogą już nie obowiązywać.
5) Niejednoznaczna definicja tego, co dokładnie jest testowane
Testy wsteczne mogą być trudne do porównania, ponieważ dane wejściowe i reguły się różnią. Dla każdego przykładu powinieneś być w stanie określić:
- Jaką częstotliwość danych zastosowano (na przykład słupki vs. ticki).
- Jak obliczono wskaźniki lub cechy i czy wykorzystywały one tylko informacje dostępne w danym momencie.
- Jak zdecydowano o wejściach i wyjściach oraz jak modelowano realizację zleceń.
Jeśli którykolwiek z tych szczegółów jest niejasny, test wsteczny może nie testować zamierzonego pomysłu; może zamiast tego testować artefakt wybranej implementacji.
Weryfikacja, która może poprawić wiarygodność
Nie możesz sprawić, aby test wsteczny „udowodnił”, że strategia będzie działać, ale możesz sprawdzić, czy wyniki są prawdopodobnie solidne.
Praktyczne podejście do weryfikacji polega na jednoznacznym zdefiniowaniu założeń i przetestowaniu wrażliwości. Na przykład zmieniaj parametry kosztów w rozsądnych zakresach lub używaj różnych okresów historycznych o różnych warunkach rynkowych. Osobno stosuj testy poza próbą: oceniaj reguły na danych niewykorzystanych do wyboru parametrów.