Czym jest backtesting i dlaczego pojawiają się ryzyka
Backtesting to metoda analizy, która stosuje regułową ideę tradingową do danych historycznych, aby oszacować, jak mogła się ona sprawdzić w przeszłości. Idea ta jest zwykle kodowana jako warunki wejścia i wyjścia, kontrole ryzyka oraz założenia dotyczące tego, jak zlecenia były realizowane.
Kluczowe ryzyko polega na tym, że backtest nie jest rynkiem. To uproszczona rekonstrukcja zbudowana na podstawie danych wejściowych (danych, reguł, kosztów i założeń dotyczących realizacji). Jeśli te dane wejściowe nie odpowiadają rzeczywistym warunkom, wyniki mogą być systematycznie mylące.
Ryzyka mechanizmu: dane wejściowe, modelowanie i założenia realizacji
Backtest zależy od szczegółów operacyjnych, które łatwo przybliżyć, ale trudno odtworzyć.
- Jakość danych i realizm: Historyczne serie cen mogą pomijać spready, różnić się pod względem granularności albo odbiegać od dokładnych notowań, które faktycznie otrzymalibyście. Jeśli w backteście używasz „czystej” ceny, ale w realnej realizacji stosowane są szersze spready lub inne ceny w momencie składania zlecenia, szacunki wyników mogą się przesunąć.
- Koszty transakcyjne i płynność: Wiele backtestów zaniża koszty. Opłaty, prowizje, a zwłaszcza efekty płynności (na przykład, gdy cena przesuwa się między czasem sygnału a czasem realizacji) mogą obniżać zwroty. Nawet jeśli zwroty wyglądają dobrze przed uwzględnieniem kosztów, luka może rosnąć po zastosowaniu realistycznych kosztów.
- Modelowanie realizacji zleceń: Backtesting zwykle zakłada realizację po przewidywalnych cenach. Realny trading może się różnić przez częściowe wypełnienia, pozycję w kolejce, poślizg oraz to, czy zlecenia są rynkowe czy limitowane. Jeśli logika wypełnienia jest zbyt optymistyczna, symulowana krzywa kapitału może nie odzwierciedlać realnych obsunięć.
- Błędy próbkowania i timing: Używanie sygnałów z końca świecy (bar) tak, jakby dało się je wykonać w tym samym momencie zamknięcia, to częsta niezgodność. W rzeczywistości sygnał jest znany dopiero po aktualizacji ceny, więc realizacja nastąpi później (albo przy innych dostępnych cenach).
Ryzyka rynkowe i scenariuszowe: historia nie pozostaje stabilna
Nawet przy idealnych danych i modelowaniu realizacji rynki mogą się zmieniać.
- Zmiany reżimu: Zachowanie Forex może się różnić w zależności od reżimów zmienności, okresów makro i warunków płynności. Reguła, która działała w jednym historycznym reżimie, może nie zadziałać w innym.
- Niestacjonarne zależności: Wzorce statystyczne mogą słabnąć, gdy spready się rozszerzają, zmieniają się korelacje lub zmienia się rozkład zmienności. Backtest może mierzyć „to, co wydarzyło się w przeszłych warunkach”, a nie „to, co wydarzy się dalej”.
Istotne ograniczenie: zależności historyczne nie ustanawiają wyników przyszłych.
Ryzyka kontrahenta i operacyjne: czego często nie uwzględnia symulacja
Backtesty zwykle skupiają się na cenie i regułach, a nie na praktycznych ograniczeniach tradingu.
- Ograniczenia platformy i łączności: Opóźnienia, odrzucane zlecenia lub tymczasowe awarie mogą uniemożliwić złożenie lub zamknięcie transakcji zgodnie z założonym modelem.
- Marża, dźwignia i kontrole ryzyka: Jeśli wymagania dotyczące marży, zachowanie przy przymusowej likwidacji lub limity ryzyka różnią się od symulacji, wyniki mogą nie być osiągalne w praktyce.
- Ograniczenia związane z kontrahentem: Realny trading może być wpływany przez procesy operacyjne i polityki realizacji, które nie są reprezentowane wyłącznie przez historyczne notowania.
Te ryzyka niekoniecznie są widoczne w raportach z backtestu, ale mogą dominować wyniki w okresach podwyższonego stresu.
Ryzyka interpretacji: overfitting, hindsight bias i myląca pewność
Głównym trybem awarii nie jest matematyka, lecz interpretacja.
- Overfitting: Jeśli parametry są wielokrotnie strojonе, aby dopasować się do danych z przeszłości, backtest może uchwycić szum zamiast trwałego sygnału. Przeoverfitowane reguły mogą szybko pogorszyć się na nowych danych.
- Hindsight bias: Gdy „widzisz” przeszłość, kusi, aby wybierać założenia, które sprawiają, że wyniki wyglądają na spójne. Wtedy backtest może odzwierciedlać proces selekcji, a nie rzeczywistą przewagę.
- Pewność oparta na jednym wskaźniku: Strategia może wyglądać na zyskowną w jednym wskaźniku (na przykład, całkowity zwrot), podczas gdy ukrywa poważne ryzyko ogonowe (duże obsunięcia, długie serie strat lub podatność na określone warunki).
Kontrolowalnym sprawdzianem jest traktowanie backtestu jak testu hipotez, a następnie pytanie, czy idea pozostaje wiarygodna przy założeniach poddanych testom warunków skrajnych oraz na danych spoza próby (out-of-sample).
Przykład dowodowy: prosta niezgodność, która może zmienić wnioski
Załóż, że reguła generuje sygnały na koniec każdej świecy czasowej. Jeśli backtest zakłada, że możesz wejść po cenie zamknięcia tej świecy, ale w rzeczywistości składasz zlecenie dopiero po zamknięciu, a realizacja następuje po następnej dostępnej cenie, to wejście jest systematycznie gorsze.