Co początkujący powinni wiedzieć o praktyce testów wstecznych
Co oznacza praktyka testów wstecznych
Praktyka testów wstecznych to proces stosowania zestawu reguł decyzyjnych do historycznych danych cenowych w celu sprawdzenia, jak sprawdziłyby się one w przeszłości. Kluczowym słowem jest symulacja: testy wsteczne odtwarzają to, co wydarzyłoby się zgodnie z wybraną metodologią, a nie to, co naprawdę wydarzyło się w warunkach na żywo.
Początkujący powinien oddzielić trzy pojęcia:
- Mechanika metody: jak przekształcasz reguły w symulowane działania (moment wejścia/wyjścia, wielkość pozycji, okres utrzymania pozycji oraz to, czy reguły mogą się zmieniać w trakcie transakcji).
- Dane wejściowe i założenia: jakie dane cenowe wykorzystałeś, jak obsłużyłeś brakujące dane oraz co założyłeś w kwestii kosztów transakcyjnych i wykonania.
- Interpretacja: co wyniki testów wstecznych mogą, a czego nie mogą powiedzieć o przyszłych wynikach.
Jak przebiega proces (części, które muszą być zdefiniowane)
Testy wsteczne są znaczące tylko wtedy, gdy potrafisz wyjaśnić cały łańcuch od danych wejściowych do wyników.
- Reguły: jasna logika wejścia i wyjścia. Niejednoznaczność tutaj powoduje niespójne zachowanie między poszczególnymi przebiegami.
- Okres czasowy i dane: jaki okres historyczny, interwał czasowy (na przykład świece minutowe vs dzienne) oraz czy używasz tylko zamkniętych świec.
- Moment zdarzeń: jak decydujesz, że warunek stał się prawdziwy i kiedy zlecenie zostałoby zrealizowane (na otwarciu następnej świecy, po określonej cenie itp.). To istotne, ponieważ symulacja może domyślnie zakładać idealne wyczucie czasu.
- Koszty i wykonanie: założenia dotyczące spreadów, prowizji, poślizgu i prawdopodobieństwa realizacji zlecenia. Nawet „niewielkie” różnice w kosztach mogą zdominować wyniki przy wielu transakcjach.
- Ryzyko i efekty portfelowe: czy symulacja zakłada, że zawsze handlujesz tą samą wielkością, czy ograniczasz ekspozycję oraz jak traktujesz nakładające się pozycje.
Praktycznym sposobem na zachowanie dokładności jest zapisywanie założeń przy każdym przebiegu. Jeśli nie możesz wymienić założeń, nie możesz zweryfikować, czy inna osoba odtworzyłaby ten sam wynik.
Dowody i przykłady: skąd zwykle pochodzą wnioski
Testy wsteczne często generują wskaźniki, takie jak zwrot, maksymalne obsunięcie kapitału, wskaźnik wygranych transakcji czy średni wynik transakcji. Jednak początkujący powinni traktować je jako opisy jednej symulowanej historii.
Realistyczny scenariusz to reguła, która wydaje się dochodowa w jednym okresie, ale opiera się na specyficznym zachowaniu rynku. Jeśli następnie uruchomisz te same reguły na innym okresie historycznym lub interwale czasowym, wyniki mogą się zmienić. Nie jest to dowód, że pomysł jest bezwartościowy; to dowód, że wyniki zależą od relacji między regułami a warunkami rynkowymi w testowanej próbce.
Istotne ograniczenie: przeuczenie
Przeuczenie to błąd, w którym reguły są dostrajane zbyt mocno do danych z przeszłości. Typowe oznaki obejmują:
- Wyniki poprawiają się po wielu modyfikacjach parametrów.
- Wyniki spadają po zmianie okna czasowego.
- Reguła staje się złożona w stosunku do pierwotnego pomysłu.
Przeuczenie zmniejsza prawdopodobieństwo, że logika będzie zachowywać się podobnie poza próbką treningową. Początkujący powinien zrozumieć, że „dobre liczby z testów wstecznych” mogą odzwierciedlać zapamiętanie, a nie stabilny efekt.
Ograniczenia i ryzyka do niezależnej weryfikacji
Zależności historyczne nie ustanawiają przyszłych wyników. Wyniki testów wstecznych mogą zawieść na wiele sposobów:
- Błąd danych: historyczny zbiór danych może różnić się od przyszłych warunków handlowych (płynność, reżim zmienności lub mikrostruktura).
- Nierealistyczne wykonanie: zakładanie realizacji po idealnych cenach może zawyżać wyniki.
- Efekty przetrwania i selekcji: wybieranie tylko okresów, które wyglądają dobrze, może wprowadzać w błąd.
- Zależność od reżimu: reguła może działać tylko w określonych warunkach zmienności lub trendu.
Punkty kontrolne i weryfikacja
Aby zweryfikować twierdzenia dotyczące testów wstecznych, skup się na powtarzalności:
- Czy ktoś inny może uruchomić tę samą logikę na tych samych danych i uzyskać podobne wyniki?
- Czy koszty i założenia dotyczące wykonania są jasno określone?
- Czy wyniki pozostają podobne w różnych, nienakładających się oknach czasowych?
Jeśli na którekolwiek z tych pytań nie można odpowiedzieć, traktuj test wsteczny jako niepełny dowód.
O co zapytać dalej
Początkujący może poprawić swoje zrozumienie, zadając ukierunkowane pytania: Jakie dokładnie reguły zostały przetestowane? Jakie założenia przyjęto dotyczące wykonania i kosztów? Który błąd jest najbardziej prawdopodobny dla tej reguły (realizm wykonania, błąd danych czy przeuczenie)? Te pytania nie gwarantują sukcesu, ale czynią ocenę bardziej uczciwą i niezależnie sprawdzalną.