Jak można testować filtrowanie fałszywych wybić?

Jak działa filtrowanie fałszywych wybić jako koncepcja

Filtrowanie fałszywych wybić ma na celu ograniczenie transakcji wywołanych wybiciami, które nie zachowują się zgodnie z oczekiwaniami. W praktyce najpierw wykrywa się „wybicie” za pomocą pewnej reguły (na przykład cena przekracza poziom), a następnie filtr albo pozwala na kontynuację transakcji, albo ją blokuje na podstawie dodatkowych informacji.

Kluczowym wyzwaniem testowania jest oddzielenie dwóch rzeczy:

• Stabilnej mechaniki projektu filtra (logiki, którą stosujesz).
• Zmiennych warunków rynkowych i danych (reżim zmienności, koszty typu spread, jakość wykonania).

Testowanie powinno zatem skupiać się na tym, czy filtr poprawia z góry określony wynik w porównaniu z punktem odniesienia, bez zakładania przyszłej przewidywalności.

Zdefiniuj testowalną hipotezę i punkt odniesienia

Aby przetestować filtrowanie fałszywych wybić, zacznij od hipotezy, którą można sfalsyfikować. Przykładowe wzorce hipotez (zapisane jako neutralne twierdzenia):

• „Gdy po sygnale wybicia następuje określony warunek powybiociowy, filtr zmniejsza udział wyników, które szybko się odwracają.”
• „W porównaniu z samą bazową regułą wybicia, dodanie filtra zmienia wskaźniki wydajności w spójnym kierunku.”

Następnie jasno zdefiniuj punkt odniesienia. Typowe punkty odniesienia to:

1. Brak filtra: używana jest tylko początkowa reguła wykrywania wybicia.
2. Naiwny filtr: prosta, przejrzysta reguła, która nie wykorzystuje tych samych informacji co proponowany filtr (przydatna do sprawdzenia, czy poprawa nie wynika po prostu ze zmniejszonej częstotliwości transakcji).

Dostosuj wskaźniki do hipotezy. Jeśli hipoteza dotyczy fałszywych wybić, wybierz wskaźniki odzwierciedlające częstotliwość odwróceń lub zachowanie podobne do drawdownu, a nie tylko surowe stopy zwrotu.

Przygotuj podział danych i protokół oceny

Filtr może wyglądać na skuteczny, jeśli zostanie przypadkowo dostrojony do jednego okresu. Użyj protokołu minimalizującego przeciek informacji:

1. Podział oparty na czasie

• Zbiór treningowy (do wyboru reguł lub progów).
• Zbiór walidacyjny (do wyboru spośród alternatywnych ustawień filtra).
• Zbiór testowy (do końcowej, nietkniętej oceny).

Unikaj losowego tasowania. Zachowanie wybić często zależy od zmiennych w czasie warunków rynkowych.

2. Wiele reżimów rynkowych Jeśli to możliwe, upewnij się, że zbiór testowy obejmuje różne warunki zmienności i trendów. Nie zakładając, że jakikolwiek „typ rynku” się powtórzy, możesz przynajmniej sprawdzić, czy efekt filtra utrzymuje się w różnych okresach.

3. Spójność punktu decyzyjnego Upewnij się, że decyzja filtra jest podejmowana wyłącznie na podstawie informacji, które byłyby dostępne w momencie decyzji. Częstym błędem jest używanie cech, które można poznać dopiero po fakcie (na przykład przyszłych maksimów/minimów).

Koszty i założenia dotyczące zmiennych czynników

Nawet do testowania koncepcji potrzebujesz jawnych założeń dotyczących składników obliczeń. W przeciwnym razie wyniki mogą być mylące.

Uwzględnij model kosztów dopasowany do Twojego środowiska na ogólnym poziomie:

• Koszty transakcyjne (prowizje lub spready jako łączny szacunek na transakcję).
• Opóźnienie wykonania (jeśli filtr wymaga czekania na potwierdzenie, możesz wchodzić później po innych cenach).
• Margines poślizgu (o ile gorsze mogą być realizacje w porównaniu z szacunkiem ceny średniej).

Określ te założenia jako zmienne w planie testu. Następnie przeprowadź analizy wrażliwości:

• Scenariusze niskich, średnich i wysokich kosztów.
• Nieco inne założenia dotyczące poślizgu.

Jeśli pozorna poprawa filtra znika przy bardziej realistycznych kosztach, test sugeruje, że efekt nie jest odporny.

Przykładowy projekt testu lub dowód

Poniżej znajduje się ustrukturyzowany projekt testu, który możesz wdrożyć bez polegania na cenach na żywo.

1. Wybierz regułę wybicia Zdefiniuj ją jako deterministyczny krok, na przykład:

• „Zdarzenie wybicia ma miejsce, gdy cena przekracza z góry określony poziom.”

Jasno określ definicję zdarzenia: jaki interwał czasowy, jaki typ poziomu (poprzednie maksimum, zakres kroczący) i jak obsługujesz przypadki graniczne.

2. Zdefiniuj warunek filtra Warunek filtra powinien być powiązany z hipotezą dotyczącą fałszywych wybić. Na przykład (forma ogólna):

• „Po wybiciu wymagaj, aby warunek potwierdzający utrzymywał się przez N kroków; w przeciwnym razie zablokuj transakcję.”

Określ N i warunek potwierdzający w sposób, którego inny czytelnik nie może zinterpretować inaczej.

3. Zdefiniuj etykietowanie wyników Jeśli hipoteza dotyczy „fałszywych” wybić, musisz zdefiniować, co „fałszywe” oznacza operacyjnie.

• Na przykład: „zablokowana transakcja to taka, w której cena odwraca się powyżej progu w określonym horyzoncie czasowym.”

Ponownie zdefiniuj horyzont i próg odwrócenia jako jawne założenia.

4. Porównaj z punktem odniesienia Oblicz te same wskaźniki dla:

• Punktu odniesienia: zdarzenia wybicia bez filtra.
• Wersji filtrowanej: zdarzenia wybicia z filtrem.

Co najmniej porównaj:

• Wskaźniki częstotliwości (ile zdarzeń jest dozwolonych vs zablokowanych).
• Wskaźniki niekorzystnych wyników (jak często występują kryteria odwrócenia).
• Wskaźniki ryzyka (jak duże stają się niekorzystne odchylenia).

Ograniczenia i ryzyka: co może pójść nie tak

Co najmniej jedno istotne ograniczenie powinno być częścią planu testu.

Typowe tryby awarii:

1. Overfitting do jednego okresu czasu Jeśli progi filtra są dostrajane przy użyciu pełnego zbioru danych, wyniki testu mogą odzwierciedlać tylko ten konkretny okres.

2. Przeciek informacji po zdarzeniu Jeśli jakakolwiek cecha filtra wykorzystuje informacje, które nie byłyby dostępne w momencie podejmowania decyzji, test jest nieważny.

3. Zależność od reżimu rynkowego Filtr może pomagać w okresie bocznego ruchu, ale zawodzić w okresach trendowych (lub odwrotnie). Oznacza to, że pojedynczy wskaźnik testu może ukrywać niestabilność.

4. Niedopasowanie kosztów i wykonania Jeśli ocena zakłada nierealistycznie dobre realizacje, filtr czekający na potwierdzenie może wypaść gorzej po uwzględnieniu rzeczywistych kosztów.

5. Problemy z jakością danych Różne źródła danych mogą mieć różne znaczniki czasu lub zachowania podobne do mikrostruktury. Nawet przy użyciu tego samego aktywa małe różnice mogą zmienić wykrywanie „wybić”.

Historyczne zależności nie przesądzają o przyszłych wynikach. Nawet dobrze zaprojektowany test dostarcza dowodów dotyczących przeszłości, a nie gwarancji dotyczącej przyszłości.

Weryfikacja i kolejne pytania do zadania

Po obliczeniu wyników zweryfikuj główne twierdzenie, zamiast ufać pojedynczej liczbie.

1. Testy odporności

• Uruchom ponownie test z różnymi, ale rozsądnymi założeniami kosztowymi.
• Zmieniaj ustawienia filtra w wąskim zakresie, aby sprawdzić, czy zachowanie zmienia się drastycznie.
• Oceń wiele aktywów/okresów czasu, jeśli dane na to pozwalają.

2. Sprawdź mechanizm Jeśli filtr poprawia wyniki, potwierdź, że jest to zgodne z zamierzonym mechanizmem (na przykład mniej odwróceń lub mniejsze niekorzystne odchylenia). Jeśli poprawa występuje tylko dlatego, że spada częstotliwość transakcji, musisz zinterpretować wynik na nowo.

3. Udokumentuj falsyfikowalność Zapisz, jakie wyniki przeczyłyby hipotezie. Pomaga to odróżnić „działa w niektórych przypadkach” od „działa z trwałego powodu”.

4. Ponownie sprawdź zmienne czynniki Jeśli wyniki zmieniają się znacząco przy zmianie założeń dotyczących opóźnienia wykonania lub kosztów, jest to dowód wrażliwości i ograniczenie podejścia.

Jeśli chcesz, podziel się swoją definicją wybicia i dokładną regułą filtra, którą planujesz przetestować (w tym momentem decyzji i horyzontem czasowym).