Co to jest backtesting (i czym nie jest)
Backtesting to proces stosowania z góry określonej reguły handlowej lub ram decyzyjnych do historycznych danych rynkowych, aby sprawdzić, jak mogłyby się one sprawdzić. Kluczowe słowo to z góry określone: backtest ma sens tylko wtedy, gdy logika, dane wejściowe i metoda obliczeń są ustawione przed uruchomieniem testu.
Backtest nie jest gwarancją przyszłych wyników. Historyczne zależności mogą się zmieniać, a Twoje wyniki są tak realistyczne, jak Twoje założenia dotyczące realizacji i warunków handlu. Jeśli Twoim celem jest nauka, traktuj backtesting jako ćwiczenie pomiarowe: testujesz konkretną hipotezę w konkretnych, zamodelowanych warunkach.
Najczęstsze błędy i dlaczego mają znaczenie
-
Nierozdzielanie założeń od wyniku Częste nieporozumienie polega na traktowaniu wyniku backtestu jako prawdy rynkowej. W praktyce wynik zależy od Twoich założeń: jak modelowane są wypełnienia, jak obsługiwane są spread i prowizje oraz jak realizowane są zlecenia. Jeśli nie podasz tych założeń, dwie osoby mogą uruchomić „to samo” podejście i otrzymać różne wyniki.
-
Overfitting i polowanie na parametry Overfitting pojawia się wtedy, gdy reguła jest dopasowana tak ciasno do danych z przeszłości, że wychwytuje szum zamiast powtarzalnego zachowania. Jednym z objawów jest poprawa wyników na tym samym zbiorze danych w kółko, przy jednoczesnym pogorszeniu gdzie indziej. Nawet bez „oszukiwania”, iteracyjne dopracowywanie kierowane backtestem może zamienić proces w dopasowywanie krzywej.
-
Cherry-picking okresów czasowych Kolejnym błędem jest testowanie wyłącznie na korzystnej historii. Czasem jest to przypadkowe (na przykład użycie okresu, który akurat pasuje do konkretnego reżimu). Konsekwencją jest backtest, który może wyglądać przekonująco, ale odzwierciedla efekt selekcji, a nie szeroko stosowalny efekt.
-
Używanie nierealistycznych modeli realizacji Wiele backtestów upraszcza wypełnienia: może zakładać idealną realizację po idealnej cenie, ignorować opóźnienia (latency) albo traktować poślizg jako stały, mimo że nie jest. Może to sprawić, że wyniki będą wyglądać na silniejsze, niż byłyby w realnych ograniczeniach. Nawet jeśli logika jest poprawna, pomiar wyników może być błędny.
-
Ignorowanie kosztów i praktycznych ograniczeń Koszty obejmują prowizje, spready oraz wszelkie inne stałe wydatki związane z handlem. Ograniczenia obejmują limity dotyczące składania zleceń oraz to, czy reguła faktycznie może generować pozycje w momentach, które backtest zakłada. Jeśli te elementy zostaną pominięte lub potraktowane zbyt luźno, zwroty mogą być zawyżone.
-
Mylenie wyników podobnych do korelacji z jakością decyzji Backtesting może dawać wyniki, które wyglądają atrakcyjnie, ponieważ wynikają z samego zbioru danych, a nie z reguły. Na przykład reguła, która wyzwala sygnały w trendującym reżimie, może dobrze działać w próbie, ale zawieść, gdy warunki się zmienią. Typowym trybem awarii jest pomylenie „dobrego przejazdu” z „stabilnym procesem decyzyjnym”.
Ograniczenia i ryzyka, których powinieneś się spodziewać
Największym ograniczeniem jest to, że backtesting jest modelem rzeczywistości, a nie samą rzeczywistością. Realizacja, płynność i mikrostruktura rynku mogą się różnić w czasie i w różnych środowiskach. Dodatkowo dane historyczne mogą być niepełne lub niespójne (na przykład brak niektórych zachowań w trakcie dnia), co może zniekształcać pomiary.
Drugim ograniczeniem jest to, że metryki wyników zależą od projektu testu. Zmiana częstotliwości danych, sposobu obliczania zwrotów, kolejności operacji lub tego, jak transakcje są dopasowane w czasie, może zmieniać wyniki. Dlatego nawet jeśli kod backtestu jest poprawny, wniosek może nie być odporny.
Na koniec wyniki mogą się różnić w zależności od konkretnych warunków rynkowych oraz tego, jak koszty i realizacja są przedstawione w modelu. Z tego powodu pojedynczy backtest rzadko powinien być traktowany jako ostateczna odpowiedź.
Kontrole weryfikacyjne (neutralne i samodzielne)
Używaj neutralnych kontroli, aby potwierdzić, czy wynik backtestu jest odporny, a nie przypadkowy.
- Wyraźnie określ założenia: opisz, jak modelujesz spready, poślizg, prowizje i realizację zleceń.
- Trzymaj parametry stałe do oceny: strojenie wykonuj tylko w osobnej fazie, a potem oceniaj bez dalszych zmian.
- Testuj w wielu segmentach czasu: porównuj wyniki w różnych historycznych reżimach.
- Uruchamiaj testy warunków skrajnych dla kosztów i realizacji: zmieniaj założenia dotyczące poślizgu w realistycznych zakresach, aby sprawdzić, czy wniosek się zmienia.
- Wykorzystuj ocenę poza próbą (out-of-sample) lub holdout: potwierdź, że poprawa nie pojawia się wyłącznie w danych użytych do ułożenia reguły.
Jeśli te kontrole pokażą dużą niestabilność, jest to cenna informacja: sugeruje, że logika strategii może być wrażliwa na wybory modelowania lub warunki rynkowe. „Porażka” oznacza informację o odporności, a nie ślepy zaułek.
DOCUMENT END