Częste błędy w praktyce testów wstecznych

Czym są testy wsteczne (a czym nie są)

Testy wsteczne to proces stosowania z góry określonej reguły handlowej lub ram decyzyjnych do historycznych danych rynkowych w celu sprawdzenia, jak mogłyby one zadziałać. Kluczowe słowo to z góry określone: test wsteczny ma sens tylko wtedy, gdy logika, dane wejściowe i metoda obliczeń są ustalone przed jego uruchomieniem.

Test wsteczny nie jest gwarancją przyszłych wyników. Relacje historyczne mogą się zmieniać, a Twoje wyniki są tak realistyczne, jak Twoje założenia dotyczące wykonania i warunków handlowych. Jeśli Twoim celem jest nauka, traktuj testy wsteczne jako ćwiczenie pomiarowe: testujesz konkretną hipotezę w określonych, modelowanych warunkach.

Częste błędy i dlaczego mają znaczenie

1. Nierozdzielanie założeń od wyniku Częstym nieporozumieniem jest traktowanie wyniku testu wstecznego jako prawdy rynkowej. W praktyce wynik zależy od Twoich założeń: jak modelowane jest wypełnianie zleceń, jak uwzględniane są spready i prowizje oraz jak realizowane są zlecenia. Jeśli nie określisz tych założeń, dwie osoby mogą przeprowadzić „ten sam” pomysł i uzyskać różne wyniki.

2. Przeuczenie i polowanie na parametry Przeuczenie ma miejsce, gdy reguła jest tak mocno dopasowana do danych historycznych, że wychwytuje szum, a nie powtarzalne zachowanie. Jednym z sygnałów jest wielokrotna poprawa wyników na tym samym zbiorze danych przy jednoczesnej utracie wydajności gdzie indziej. Nawet bez „oszukiwania”, iteracyjne udoskonalanie kierowane wynikami testów wstecznych może zamienić proces w dopasowywanie krzywej.

3. Wybieranie korzystnych okresów czasu Kolejnym błędem jest testowanie wyłącznie na sprzyjającej historii. Czasami jest to przypadkowe (na przykład użycie okresu, który akurat odpowiada konkretnemu reżimowi rynkowemu). Konsekwencją jest test wsteczny, który może wyglądać przekonująco, ale odzwierciedla efekt selekcji, a nie szeroko stosowany efekt.

4. Stosowanie nierealistycznych modeli wykonania Wiele testów wstecznych upraszcza wypełnianie zleceń: mogą zakładać doskonałe wykonanie po idealnej cenie, ignorować opóźnienia lub traktować poślizg jako stały, podczas gdy w rzeczywistości taki nie jest. Może to sprawić, że wyniki będą wyglądać na lepsze, niż byłyby w rzeczywistych warunkach. Nawet jeśli logika jest poprawna, pomiar wydajności może być niedokładny.

5. Ignorowanie kosztów i praktycznych ograniczeń Koszty obejmują prowizje, spready i wszelkie inne stałe wydatki handlowe. Ograniczenia obejmują limity dotyczące składania zleceń oraz to, czy reguła faktycznie może generować pozycje w momentach zakładanych przez test wsteczny. Jeśli te elementy zostaną pominięte lub przybliżone w luźny sposób, zyski mogą być zawyżone.

6. Mylenie wyników przypominających korelację z jakością decyzji Testy wsteczne mogą dawać wyniki, które wyglądają atrakcyjnie ze względu na zbiór danych, a nie regułę. Na przykład reguła, która działa w trendzie, może dobrze sprawdzać się w próbie, ale zawieść, gdy warunki się zmienią. Częstym błędem jest mylenie „dobrej passy” ze „stabilnym procesem decyzyjnym”.

Ograniczenia i ryzyka, których należy się spodziewać

Największym ograniczeniem jest to, że testy wsteczne są modelem rzeczywistości, a nie samą rzeczywistością. Wykonanie, płynność i mikrostruktura rynku mogą się różnić w zależności od czasu i środowiska. Ponadto dane historyczne mogą być niekompletne lub niespójne (na przykład brak niektórych zachowań wewnątrzdniowych), co może zniekształcić pomiary.

Drugim ograniczeniem jest to, że wskaźniki wydajności zależą od projektu testu. Zmiana częstotliwości danych, sposobu obliczania zysków, kolejności operacji lub sposobu dopasowania transakcji może zmienić wyniki. Dlatego nawet jeśli Twój kod testu wstecznego jest poprawny, wniosek może nie być solidny.

Wreszcie, wyniki mogą się różnić w zależności od konkretnych warunków rynkowych oraz od tego, jak reprezentowane są koszty i wykonanie. Z tego powodu pojedynczy test wsteczny rzadko powinien być traktowany jako ostateczna odpowiedź.

Kontrole weryfikacyjne (neutralne i samowystarczalne)

Użyj neutralnych kontroli, aby potwierdzić, czy wynik testu wstecznego jest solidny, a nie przypadkowy.

• Określ jawnie założenia: udokumentuj, jak modelujesz spready, poślizg, prowizje i realizację zleceń.
• Utrzymuj stałe parametry do oceny: dostrajaj tylko w osobnej fazie, a następnie oceniaj bez dalszych zmian.
• Testuj w wielu segmentach czasowych: porównaj wydajność w różnych reżimach historycznych.
• Przeprowadź testy warunków skrajnych dla kosztów i wykonania: zmieniaj założenia dotyczące poślizgu w prawdopodobnych zakresach, aby sprawdzić, czy wniosek się zmienia.
• Użyj oceny poza próbą lub na danych wstrzymanych: potwierdź, że poprawa występuje nie tylko w danych użytych do stworzenia reguły.

Jeśli te kontrole wykażą dużą niestabilność, jest to wartościowy wynik: sugeruje, że logika strategii może być wrażliwa na wybory modelowania lub warunki rynkowe. Ta „porażka” jest informacją o solidności, a nie ślepym zaułkiem.