Co oznacza praktyka backtestingu
Praktyka backtestingu to proces stosowania zestawu reguł decyzyjnych do historycznych danych cenowych, aby sprawdzić, jak zachowałyby się one w przeszłości. Kluczowe słowo to symulować: backtesting odtwarza to, co by się wydarzyło zgodnie z wybraną metodyką, a nie to, co faktycznie miało miejsce w warunkach na żywo.
Początkujący powinien rozdzielić trzy kwestie:
- Mechanika metody: jak zamieniasz reguły na symulowane działania (moment wejścia/wyjścia, wielkość pozycji, okres utrzymania oraz to, czy reguły mogą się zmieniać w trakcie jednej transakcji).
- Dane wejściowe i założenia: jakich danych cenowych użyłeś, jak obsłużyłeś brakujące dane oraz co przyjąłeś dla kosztów transakcyjnych i realizacji zleceń.
- Interpretacja: co wyniki backtestu mogą, a czego nie mogą powiedzieć o przyszłych rezultatach.
Jak działa proces (elementy, które muszą być zdefiniowane)
Backtesting ma sens tylko wtedy, gdy potrafisz wyjaśnić pełny łańcuch od danych wejściowych do wyników.
- Reguły: jasna logika wejścia i wyjścia. Niejasność w tym miejscu powoduje niespójne zachowanie między kolejnymi uruchomieniami.
- Horyzont czasowy i dane: który okres historyczny, interwał (na przykład świece minutowe vs dzienne) oraz czy używasz wyłącznie ukończonych świec.
- Timing zdarzeń: jak decydujesz, że dany warunek stał się prawdziwy i kiedy zlecenie zostałoby zrealizowane (na otwarciu następnej świecy, po konkretnej cenie itd.). Ma to znaczenie, ponieważ symulacja może niejawnie zakładać idealny timing.
- Koszty i realizacja: założenia dotyczące spreadów, prowizji, poślizgu oraz prawdopodobieństwa wypełnienia zlecenia. Nawet „niewielkie” różnice kosztów mogą zdominować wyniki po wielu transakcjach.
- Ryzyko i efekty portfelowe: czy symulacja zakłada, że zawsze handlujesz tą samą wielkością, czy ograniczasz ekspozycję oraz jak traktujesz pozycje nakładające się na siebie.
Praktycznym sposobem na utrzymanie dokładności jest zapisywanie założeń przy każdym uruchomieniu. Jeśli nie potrafisz wymienić założeń, nie możesz zweryfikować, czy inna osoba odtworzyłaby ten sam wynik.
Dowody i przykłady: skąd zwykle biorą się wnioski
Backtesty często generują metryki takie jak zwrot, maksymalna strata (drawdown), skuteczność (win rate) lub średni wynik transakcji. Jednak początkujący powinni traktować je jako opisy jednej symulowanej historii.
Realistyczny scenariusz to reguła, która wygląda na zyskowną w jednym okresie, ale opiera się na konkretnym zachowaniu rynku. Jeśli następnie uruchomisz te same reguły na innym okresie historycznym lub innym interwale czasowym, wyniki mogą się zmienić. To nie dowód, że pomysł jest bezwartościowy; to dowód, że rezultaty zależą od relacji między regułami a warunkami rynkowymi w testowanej próbie.
Istotne ograniczenie: przeuczenie
Przeuczenie to tryb awarii, w którym reguły są dopasowywane do danych historycznych zbyt blisko. Typowe oznaki obejmują:
- Wyniki poprawiają się po wielu zmianach parametrów.
- Wynik spada, gdy zmienisz okno czasowe.
- Reguła staje się złożona w porównaniu do pierwotnego pomysłu.
Przeuczenie zmniejsza prawdopodobieństwo, że logika będzie zachowywać się podobnie poza próbką treningową. Początkujący powinien zrozumieć, że „dobre liczby z backtestu” mogą odzwierciedlać zapamiętywanie, a nie stabilny efekt.
Ograniczenia i ryzyka do niezależnej weryfikacji
Historyczne zależności nie ustanawiają przyszłych wyników. Wyniki backtestu mogą zawieść na wiele sposobów:
- Błąd danych (data bias): historyczny zbiór danych może różnić się od przyszłych warunków handlu (płynność, reżim zmienności lub mikrostruktura).
- Nierealistyczna realizacja: założenie wypełnień po idealnych cenach może zawyżać wyniki.
- Efekty przeżywalności i selekcji: wybieranie wyłącznie okresów, które wyglądają dobrze, może wprowadzać w błąd.
- Zależność od reżimu: reguła może działać tylko w określonych warunkach zmienności lub trendu.
Punkty kontrolne kontroli i weryfikacji
Aby zweryfikować twierdzenia dotyczące backtestu, skup się na odtwarzalności:
- Czy ktoś inny może uruchomić tę samą logikę na tych samych danych i uzyskać podobne wyniki?
- Czy koszty i założenia dotyczące realizacji są jasno podane?
- Czy wyniki pozostają podobne w różnych, niepokrywających się oknach czasowych?
Jeśli na którekolwiek z tych pytań nie da się odpowiedzieć, traktuj backtest jako niepełny dowód.
Co zapytać dalej
Początkujący może poprawić zrozumienie, zadając ukierunkowane pytania: Jakie dokładnie reguły były testowane? Jakie założenia przyjęto dotyczące realizacji i kosztów? Który tryb awarii jest najbardziej prawdopodobny dla tej reguły (realizm realizacji, błąd danych czy przeuczenie)? Te pytania nie gwarantują sukcesu, ale sprawiają, że ocena jest bardziej uczciwa i możliwa do niezależnego sprawdzenia.