Jakie ryzyka wiążą się z praktyką testów wstecznych?

Czym są testy wsteczne i dlaczego pojawiają się ryzyka

Testy wsteczne to metoda analizy, która stosuje opartą na regułach koncepcję handlową do danych historycznych w celu oszacowania, jak mogłaby się ona sprawdzić w przeszłości. Koncepcja jest zwykle kodowana jako warunki wejścia i wyjścia, kontrole ryzyka oraz założenia dotyczące sposobu realizacji transakcji.

Podstawowe ryzyko polega na tym, że test wsteczny nie jest rynkiem. Jest to uproszczona rekonstrukcja zbudowana z danych wejściowych (dane, reguły, koszty i założenia dotyczące wykonania). Jeśli te dane wejściowe nie odpowiadają rzeczywistym warunkom, wyniki mogą być systematycznie mylące.

Ryzyka mechanizmu: dane wejściowe, modelowanie i założenia dotyczące wykonania

Test wsteczny zależy od szczegółów operacyjnych, które łatwo przybliżyć, ale trudno odtworzyć.

• Jakość i realizm danych: Historyczne serie cen mogą pomijać spready, różnić się granularnością lub odbiegać od dokładnych kwotowań zbywalnych, które otrzymałbyś w rzeczywistości. Jeśli test wsteczny używa „czystej” ceny, ale rzeczywiste wykonanie obejmuje szersze spready lub inne ceny w momencie składania zlecenia, szacunki wyników mogą się zmienić.
• Koszty transakcyjne i płynność: Wiele testów wstecznych zaniża koszty. Opłaty, prowizje, a zwłaszcza efekty płynnościowe (na przykład ruch ceny między momentem sygnału a momentem realizacji) mogą obniżyć zyski. Nawet jeśli zyski wyglądają dobrze przed kosztami, różnica może wzrosnąć po uwzględnieniu realistycznych kosztów.
• Modelowanie realizacji zleceń: Testy wsteczne zwykle zakładają realizację po przewidywalnych cenach. Rzeczywisty handel może się różnić ze względu na częściowe realizacje, pozycję w kolejce, poślizg oraz to, czy zlecenia są rynkowe czy limitowane. Jeśli logika realizacji jest optymistyczna, symulowana krzywa kapitału może nie odzwierciedlać rzeczywistych spadków.
• Błędy próbkowania i czasu: Częstą niezgodnością jest używanie sygnałów z końca świecy tak, jakby można było je wykonać na zamknięciu tej samej świecy. W rzeczywistości sygnał jest znany dopiero po aktualizacji ceny, więc wykonanie nastąpiłoby później (lub po innych dostępnych cenach).

Ryzyka rynkowe i scenariuszowe: historia nie pozostaje stabilna

Nawet przy doskonałych danych i modelowaniu wykonania rynki mogą się zmieniać.

• Zmiany reżimu: Zachowanie rynku Forex może się różnić w zależności od reżimów zmienności, okresów makroekonomicznych i warunków płynnościowych. Reguła, która działała w jednym historycznym reżimie, może zawieść w innym.
• Relacje niestacjonarne: Wzorce statystyczne mogą słabnąć, gdy spready się poszerzają, korelacje się zmieniają lub zmienia się rozkład zmienności. Test wsteczny może zmierzyć „co się wydarzyło w przeszłych warunkach”, a nie „co się wydarzy w przyszłości”.

Istotne ograniczenie: historyczne zależności nie przesądzają o przyszłych wynikach.

Ryzyka kontrahenta i operacyjne: co symulacja często pomija

Testy wsteczne zwykle koncentrują się na cenie i regułach, a nie na praktycznych ograniczeniach handlu.

• Ograniczenia platformy i łączności: Opóźnienia, odrzucone zlecenia lub tymczasowe przerwy w działaniu mogą uniemożliwić otwieranie lub zamykanie transakcji zgodnie z modelem.
• Margines, dźwignia i kontrole ryzyka: Jeśli wymagania dotyczące marginesu, zachowanie przy przymusowej likwidacji lub limity ryzyka różnią się od symulacji, wyniki mogą nie być osiągalne w praktyce.
• Ograniczenia związane z kontrahentem: Rzeczywisty handel może być obciążony procesami operacyjnymi i politykami wykonania, które nie są odzwierciedlone w samych danych historycznych cen.

Ryzyka te niekoniecznie są widoczne w raportach z testów wstecznych, ale mogą dominować nad wynikami w okresach napięcia.

Ryzyka interpretacji: przeuczenie, błąd retrospekcji i myląca pewność siebie

Głównym trybem awarii nie jest matematyka, ale interpretacja.

• Przeuczenie: Jeśli parametry są wielokrotnie dostrajane do danych z przeszłości, test wsteczny może uchwycić szum, a nie trwały sygnał. Przeuczone reguły mogą szybko tracić na skuteczności na nowych danych.
• Błąd retrospekcji: Gdy „widzisz” przeszłość, kuszące jest wybieranie założeń, które sprawiają, że wyniki wyglądają na spójne. Test wsteczny może wtedy odzwierciedlać proces selekcji, a nie rzeczywistą przewagę.
• Pewność oparta na jednym wskaźniku: Strategia może wyglądać na dochodową według jednego wskaźnika (na przykład całkowitego zysku), jednocześnie ukrywając poważne ryzyko ogonowe (duże spadki, długie serie strat lub podatność na szczególne warunki).

Kontrolowanym sprawdzeniem jest potraktowanie testu wstecznego jako testu hipotezy, a następnie zadanie pytania, czy koncepcja pozostaje wiarygodna przy warunkach testów warunków skrajnych i danych spoza próby.

Przykład dowodowy: prosta niezgodność, która może zmienić wnioski

Załóżmy, że reguła generuje sygnały na końcu każdej świecy czasowej. Jeśli test wsteczny zakłada, że można wejść po cenie zamknięcia tej świecy, ale w rzeczywistości zlecenie jest składane dopiero po zamknięciu, a wykonanie następuje po następnej dostępnej cenie, wejście jest systematycznie gorsze.