Jakie ryzyka wiążą się z testowaniem wstecznym EA?
Definicja i co testowanie wsteczne ma mierzyć
Testowanie wsteczne EA to proces, w którym strategia Expert Advisor (EA) jest testowana na historycznych danych rynkowych w celu oszacowania, jak mogła się zachowywać w przeszłości. Kluczową ideą nie jest to, że przeszłość gwarantuje przyszłość, ale że test wsteczny ma przybliżać powtarzalny zestaw reguł: kiedy EA podejmowałby decyzje, jakich cen by używał i jak realizowane byłyby zlecenia.
Praktyczny sposób myślenia o testowaniu wstecznym jest taki: zamienia ono strategię handlową w symulowany przepływ pracy. Ten przepływ pracy może zawieść na kilka sposobów — ponieważ założenia symulacji są niekompletne lub ponieważ rzeczywiste rynki i infrastruktura handlowa zachowują się inaczej.
Jak testowanie wsteczne EA może wprowadzać w błąd: ryzyka operacyjne, rynkowe, kontrahenta i interpretacyjne
Ryzyka operacyjne (symulacja nie odpowiada wykonaniu)
Częstym sposobem awarii jest to, że test wsteczny modeluje wykonanie transakcji inaczej niż rzeczywistość. Przykłady niezgodności operacyjnych obejmują sposób symulacji wypełnień (na przykład, czy zakłada się, że transakcje są wypełniane po pożądanej cenie), sposób obsługi poślizgu oraz sposób reprezentacji kosztów, takich jak spready, prowizje i finansowanie.
Nawet jeśli test wsteczny pokazuje silne wyniki, EA może być wrażliwy na szczegóły trudne do zamodelowania: timing zleceń, częściowe wypełnienia, efekty podobne do opóźnień oraz sposób zachowania EA, gdy wskaźniki opierają się na historycznych świecach, które różnią się od timingowania danych na żywo.
Ryzyka rynkowe (historyczne wzorce mogą nie przetrwać)
Testy wsteczne opierają się na historycznych zależnościach cenowych. Reżimy rynkowe mogą się zmieniać z powodu wahań zmienności, różnic w płynności, wydarzeń makroekonomicznych lub zmian w zachowaniu handlowym na całym rynku. Kiedy tak się dzieje, dane wejściowe, które wspierały wcześniejsze wyniki, mogą przestać być istotne.
Ponadto dwa okresy, które wyglądają podobnie na wykresach, mogą różnić się pod względem mikrostruktury wpływającej na wykonanie (na przykład, jak szybko ceny przechodzą przez poziomy), co wpływa na to, czy strategia może faktycznie zrealizować swoją teoretyczną przewagę.
Ryzyka kontrahenta i infrastruktury (środowisko jest częścią strategii)
Testowanie wsteczne często zakłada stabilne środowisko. W handlu na żywo rzeczywiste miejsce handlu i komponenty platformy mogą wpływać na wyniki poprzez jakość danych, specyfikacje symboli i zachowanie wykonania. Na przykład historyczne serie cen mogą być niekompletne lub różnić się od kanałów na żywo, a EA może inaczej współdziałać z zasadami obsługi zleceń w zależności od platformy.
Ponieważ test wsteczny nie może w pełni uchwycić każdego szczegółu infrastruktury, symulowane wyniki mogą odbiegać od wyników na żywo.
Ryzyka interpretacyjne (przeuczenie, błąd selekcji i fałszywa pewność)
Nawet przy dokładnej mechanice interpretacja może zawieść. Jeśli strategia jest wielokrotnie dostrajana do danych historycznych, może zostać przeuczona: działa dobrze na okresie użytym do dostrajania, ale nie na nowych, nieznanych okresach.
Wybiórczy wybór korzystnego okna, użycie zbyt wielu regulowanych parametrów lub ocena wyników bez kontroli wskaźników ryzyka mogą również stworzyć fałszywą pewność. Test wsteczny może wyglądać na „spójny” tylko dlatego, że okres oceny nie stanowił wyzwania dla strategii.
Ograniczenia i co możesz zweryfikować niezależnie
Realistyczne punkty kontrolne weryfikacji
Aby zmniejszyć ryzyko interpretacyjne, zdefiniuj założenia jawnie przed przeczytaniem wyników. Na przykład:
- Załóż konkretne źródło danych, ramę czasową i regułę sesji handlowej (i zweryfikuj, że EA konsekwentnie używa tych założeń).
- Załóż model wykonania dla wypełnień i kosztów, a następnie sprawdź, czy ta sama logika kosztów i wypełnień jest rozsądna dla docelowego środowiska.
- Załóż, że strategia ma jasną regułę decyzyjną, a następnie zweryfikuj, czy obliczenia wskaźników i timing świec są zgodne między testem wstecznym a warunkami zbliżonymi do rzeczywistych.
Co najmniej jedno istotne ograniczenie: wrażliwość i zmiana reżimu
Istotnym ograniczeniem jest to, że wyniki testów wstecznych mogą być wysoce wrażliwe na pozornie drobne wybory modelowania oraz na zmiany reżimu rynkowego. Jeśli poślizg, spread lub traktowanie finansowania różni się choćby nieznacznie od tego, co zastosowano w teście wstecznym, zrealizowane wyniki mogą się znacząco zmienić.
Kontrola trybów awarii za pomocą wielu testów
Niezależna weryfikacja zwykle oznacza testowanie na wielu, nienakładających się okresach oraz użycie danych poza próbą. Jeśli strategia zależy od wąskich warunków historycznych, wyniki mogą się pogorszyć, gdy warunki się zmienią. Jeśli wyniki pozostają stabilne w różnych reżimach rynkowych (przy tych samych założeniach), pewność wzrasta — ale nigdy nie staje się gwarancją.
Weryfikacja lub kolejne pytanie do zadania
Przydatne kolejne pytanie brzmi: „Które założenia najsilniej kontrolują wyniki testu wstecznego i jak zmieniłyby się wyniki, gdyby te założenia były w niewielkim stopniu błędne?”