Co oznacza przeskakiwanie strategii, zanim je przetestujesz
Przeskakiwanie strategii to praktyka przełączania się między strategiami w czasie (na przykład: „Strategia A, gdy dzieje się X, w przeciwnym razie Strategia B”). Kluczowa idea do przetestowania nie polega na tym, że następuje przełączanie, lecz na tym, czy przełączanie poprawia jakość decyzji w porównaniu z stabilną alternatywą.
Ponieważ przełączanie strategii może być napędzane wieloma czynnikami, przydatny test zaczyna się od rozdzielenia:
- Stabilnej mechaniki: jak decydujesz, która strategia jest aktywna (reguła przełączania).
- Zmiennych warunków rynku/dostawcy: reżimy zmienności, spready, płynność, jakość realizacji oraz inne zmieniające się czynniki.
Gdy testujesz przeskakiwanie strategii, próbujesz wyizolować wpływ reguły przełączania, utrzymując spójność metody oceny. Wyniki historyczne mogą wprowadzać w błąd, jeśli odzwierciedlają szczęśliwe okresy, zmieniające się koszty lub wyciekanie do celu.
Konkretna konstrukcja testu: hipoteza, baza i podział danych
1) Zapisz testowalną hipotezę
Zamień niejasny pomysł „przeskakiwanie strategii może działać” na coś mierzalnego. Na przykład możesz założyć, że:
- W zdefiniowanych warunkach reguła przełączania poprawia wynik netto po kosztach w porównaniu z utrzymaniem jednej strategii bazowej.
Aby uniknąć niejednoznacznej oceny, zdecyduj z góry, jaką metrykę Cię interesuje (na przykład: średni zysk netto na transakcję, głębokość obsunięcia kapitału lub statystyka skorygowana o ryzyko). Określ też horyzont czasowy pomiaru, np. „na miesiąc” albo „na tydzień”.
2) Wybierz bazę, która sprawia, że porównanie jest uczciwe
Baza powinna reprezentować alternatywę bez przeskakiwania, ocenianą z tym samym zestawem danych, założeniami realizacji i sposobem liczenia metryki.
Typowe typy baz (wybierz jeden):
- Strategia stała: zawsze używaj jednej definicji strategii.
- Statyczna alokacja: utrzymuj stałe zasady ekspozycji, jeśli Twoje pierwotne strategie zmieniają ekspozycję.
- Kontrola losowego przełączania: przełączaj strategie z tą samą częstotliwością, ale bez logiki decyzyjnej.
Baza ma znaczenie, ponieważ przeskakiwanie strategii często przynosi korzyści badaczom, którzy nieświadomie wybierają okresy, w których przełączanie wygląda dobrze. Uczciwa baza pomaga to wykryć.
3) Zdefiniuj podział danych i to, gdzie reguła decyzyjna może się uczyć
Praktyczne podejście polega na podzieleniu danych na in-sample (do wybierania parametrów i walidacji reguły przełączania) oraz out-of-sample (do estymacji wyników bez dalszego strojenia).
Na przykład:
- Użyj okna treningowego, aby zdecydować o strukturze logiki przełączania lub progach.
- Użyj okna walidacyjnego, aby potwierdzić wybory (opcjonalnie, ale pomocne).
- Użyj jednego lub więcej okien testowych, aby zmierzyć wyniki out-of-sample.
Jeśli zmienisz regułę przełączania po obejrzeniu wyników testu, test nie jest już niezależny. Najbezpieczniejsze podejście jest takie: gdy zablokujesz regułę, traktuj zbiór testowy jako nieużyty.
Koszty i założenia: część „netto” testu
4) Uwzględnij jawnie koszty transakcyjne i realizacyjne
Przełączanie strategii zwykle zwiększa aktywność (więcej wejść/wyjść, ponowne optymalizowanie lub częstsze zmiany reżimu). Nawet jeśli surowa logika strategii wygląda podobnie, wyniki netto mogą się drastycznie zmienić po uwzględnieniu kosztów.
W planie testu opisz założenia dla każdej kalkulacji, którą możesz. Na przykład:
- Model prowizji na transakcję.
- Średni spread lub efektywny koszt na każde wejście/wyjście.
- Założenia dotyczące poślizgu (slippage), odzwierciedlające realizację w najgorszym vs typowym scenariuszu.
Nie musisz mieć danych rynkowych w czasie rzeczywistym, aby zaprojektować strukturę testu, ale musisz traktować koszty jako zmienną. Typowym testem odporności jest analiza wrażliwości: uruchom ponownie tę samą ocenę przy wyższych i niższych założeniach kosztowych, aby sprawdzić, czy wnioski się odwracają.
5) Stosuj spójne reguły realizacji między strategiami
Aby porównać przeskakiwanie z bazą, realizacja powinna być modelowana spójnie:
- To samo konwencje czasu zleceń (np. decyzje na zamknięciu świecy vs w trakcie świecy).
- Taka sama logika doboru wielkości pozycji i limity.
- Takie same założenia obsługi stop/limit.
Jeśli realizacja różni się między strategiami albo między systemem przeskakiwania a bazą, różnice w wynikach mogą wynikać z mechaniki, a nie z samej idei przełączania.
Dowody i przykłady: na co patrzeć w wynikach
6) Oddziel „działa raz” od „działa w różnych warunkach”
Kluczowym ryzykiem przeskakiwania strategii jest to, że może wyglądać na skuteczne w określonych historycznych reżimach. Remedium to testowanie w wielu warunkach i okresach.
Zaprojektuj ocenę tak, aby uwzględniała:
- Wiele okien testowych out-of-sample (różne lata lub miesiące).
- Podziały przypominające reżimy (na przykład: okresy o wysokiej vs niskiej zmienności), zdefiniowane bez zaglądania w przyszłe wyniki.
Twoim celem jest obserwacja, czy wyniki netto i charakterystyki ryzyka pozostają wiarygodne w różnych podziałach, zamiast koncentrować się w wąskim wycinku historii.
7) Dodaj testy odporności, które obciążają regułę decyzyjną
Co najmniej jeden z tych testów powinien być częścią planu weryfikacji:
- Wrażliwość na częstotliwość przełączania: sprawdź, co się dzieje, gdy przełączanie jest wymuszane na rzadsze lub częstsze.
- Stabilność parametrów: lekko zmieniaj progi i mierz, czy wyniki wyraźnie się pogarszają.
- Eksperyment kontrolny: zrandomizuj sygnał przełączania, zachowując właściwości rozkładowe, takie jak częstotliwość przełączania.
Jeśli przeskakiwanie „wygrywa” tylko wtedy, gdy parametry są ciasno dopasowane do konkretnej próbki, to jest to ostrzegawczy sygnał.
Ograniczenia i tryby awarii do udokumentowania
8) Istotne ograniczenia
Nawet dobrze zaprojektowany test historyczny nie może udowodnić przyszłych wyników. Zależności zaobserwowane w jednym okresie mogą później zawieść.
Istotne tryby awarii dla przeskakiwania strategii obejmują:
- Przeuczenie reguły przełączania: logika uczy się szumu, który nie uogólnia się.
- Wyciekanie informacji (leakage): pośrednie używanie informacji z przyszłości (na przykład: używanie wyników do decyzji, która strategia powinna być aktywna).
- Niedoszacowanie kosztów: ignorowanie spreadów, prowizji lub poślizgu sprawia, że przeskakiwanie wygląda lepiej, niż byłoby netto wobec realnych tarć.
- Niezgodność realizacji: różne założenia obsługi zleceń między strategiami mogą wypaczać wyniki.
- Niestacjonarność: mapowanie między sygnałami a wynikami zmienia się, gdy rynki się adaptują.
9) Interpretuj niepewność, a nie pewność
Gdy raportujesz wyniki testów, uwzględnij, jak wrażliwe są wyniki na założenia i podziały. Jeśli wyniki załamują się przy nieco wyższych kosztach lub w innych oknach testowych, dowody są słabe.
Jest to szczególnie ważne w przypadku przeskakiwania strategii, ponieważ sama reguła przełączania dodaje złożoności. Większa złożoność zwiększa szansę, że pozorna przewaga to przypadkowa zbieżność statystyczna.
Weryfikacja i kolejne pytanie
10) Co możesz zweryfikować niezależnie
Aby niezależnie zweryfikować istotne fakty, możesz sprawdzić, czy projekt testu jest wewnętrznie spójny:
- Reguła przełączania została zablokowana przed oceną out-of-sample.
- Baza używa tego samego modelu realizacji i kosztów.
- Wynik netto jest liczony po uwzględnieniu jawnych kosztów.
- Wyniki są pokazane dla wielu okien out-of-sample oraz analiz wrażliwości.
Dobre kolejne pytanie brzmi, czy reguła przełączania znacząco różni się od bazy. Jeśli przeskakiwanie nie zmienia istotnie zachowania (na przykład: wybiera tę samą strategię prawie zawsze), test powinien to odzwierciedlać.