Jak można odpowiedzialnie przeprowadzić backtest wskaźnika Ulcer Index?

Zdefiniuj Ulcer Index, zanim go przetestujesz

Ulcer Index to statystyka oparta na drawdownie. Koncepcyjnie podsumowuje, jak daleko i jak długo seria cen pozostaje poniżej swojego niedawnego szczytu. W przypadku backtestingu kluczowe znaczenie ma nie etykieta, ale dokładna definicja, którą implementujesz: do którego „szczytu” się odnosisz, jak często próbkujesz dane, jakie okno lub okres jest używane oraz jak seria drawdownów jest przekształcana w końcową liczbę.

Odpowiedzialne podejście zaczyna się od zapisania obliczeń, które będziesz odtwarzać. Jeśli nie potrafisz precyzyjnie określić całej procedury, nie możesz jej wiarygodnie przetestować. Traktuj wskaźnik jako narzędzie pomiarowe, które generuje wartość z danych wejściowych, a nie jako samodzielny sygnał transakcyjny.

Oddziel stabilną mechanikę od zmiennych warunków

Dokładność backtestingu często zawodzi, gdy ludzie mieszają mechanikę wskaźnika ze zmieniającymi się warunkami rynkowymi i wykonawczymi.

Trzymaj te kwestie osobno:

• Dane wejściowe wskaźnika: seria cen używana do obliczania drawdownów, częstotliwość ponownego próbkowania oraz okno Ulcer Index.
• Środowisko backtestu: założenia dotyczące tego, kiedy wartości są „znane” (timing), jak realizowane są zlecenia i jakie tarcia mają zastosowanie.
• Reguła decyzyjna (jeśli istnieje): jak przekształcić wyniki wskaźnika w metrykę oceny.

Nawet jeśli nie budujesz reguły transakcyjnej, nadal musisz zdefiniować cel. Na przykład możesz ocenić, czy okresy z wyższym Ulcer Index pokrywają się z większymi drawdownami w bazowej serii. To sprawdzenie zależności, a nie prognoza.

Określ założenia dotyczące danych i kosztów

Odpowiedzialny backtest dokumentuje założenia. Typowe kategorie założeń obejmują:

1) Zakres i ciągłość danych

• Używaj jednej, spójnej serii historycznej.
• Zdecyduj, co zrobić w przypadku brakujących danych oraz zmian korporacyjnych lub strukturalnych (w przypadku rynku Forex dotyczy to głównie ciągłości danych i sposobu konstruowania serii).

2) Próbkowanie i timing

• Określ, czy obliczasz Ulcer Index na zamknięciu świecy, wewnątrz świecy, czy według innej konwencji.
• Upewnij się, że „czas decyzji” nie może wykorzystywać informacji, które byłyby dostępne dopiero po jego wystąpieniu.

3) Koszty i tarcia Jeśli Twoja ocena obejmuje jakiekolwiek działania podjęte na podstawie wskaźnika, uwzględnij realistyczne tarcia w metryce oceny. Typowe istotne tarcia to spread, prowizje i poślizg. Nawet jeśli Twój cel ma charakter edukacyjny, a nie skoncentrowany na wynikach, uwzględnienie kosztów pomaga zapobiec sytuacjom, w których wyniki wyglądają dobrze tylko dlatego, że koszty zostały zignorowane.

Kontroluj błędy za pomocą jawnych testów awarii

Błąd (bias) jest głównym trybem awarii w backtestach wskaźników. Uwzględnij testy, które w szczególności próbują złamać test.

Błąd wyprzedzenia (look-ahead bias) Upewnij się, że wartość Ulcer Index użyta w czasie t jest obliczana wyłącznie na podstawie danych dostępnych do czasu t. Częstym błędem jest obliczanie przy użyciu całej ścieżki cenowej świecy, podczas gdy decyzja byłaby możliwa dopiero na jej zamknięciu.

Błąd przeuczenia (overfitting / multiple testing bias) Jeśli wypróbujesz wiele ustawień parametrów (długości okien, progi, reguły), możesz wybrać konfigurację, która pasuje do szumu. Ogranicz przestrzeń poszukiwań lub oddziel wybór parametrów od końcowej oceny.

Błąd selekcji (selection bias) Unikaj oceniania wyłącznie okresów, które „działały” dobrze. Używaj z góry określonych okresów oceny lub procedury kroczącej (walk-forward).

Praktycznym sposobem na odpowiedzialne działanie jest stworzenie listy kontrolnej tego, co może pójść nie tak (błędy timingowe, wyciek parametrów i pominięcie kosztów) i zweryfikowanie każdego z tych punktów przed interpretacją jakichkolwiek wyników.

Używaj testów poza próbą (out-of-sample) do sprawdzenia odporności

Zależności historyczne nie przesądzają o przyszłych wynikach. Aby zmniejszyć ryzyko, że Twoje ustalenia są artefaktem jednego okresu, oceniaj na danych, które nie były używane do wyboru parametrów.

Typowe, zawsze aktualne struktury obejmują:

• Podział na zbiór treningowy/walidacyjny/testowy: wybierz parametry przy użyciu zbioru treningowego i potwierdź tylko na zbiorze walidacyjnym, a następnie sfinalizuj na zbiorze testowym.
• Ocena krocząca (walk-forward): wielokrotnie ponownie szacuj parametry, używając wyłącznie wcześniejszych danych, i oceniaj na późniejszych okresach.

Zdefiniuj pojedynczą metrykę wydajności dla oceny. Na przykład, jeśli badasz tylko drawdowny, możesz porównać zrealizowaną głębokość drawdownu względem poziomów Ulcer Index. Utrzymuj metrykę stabilną w trakcie eksperymentów.

Poznaj co najmniej jedno istotne ograniczenie

Jasnym ograniczeniem jest to, że Ulcer Index kompresuje informacje o drawdownie do jednej liczby. Może to ukrywać szczegóły rozkładu. Dwa okresy mogą mieć podobne wartości Ulcer Index, różniąc się jednocześnie szybkością odbicia, zmiennością wokół szczytów lub grupowaniem ekstremalnych ruchów.

Ponadto zachowanie wskaźnika może się różnić w zależności od reżimu rynkowego. Jeśli Twój backtest obejmuje tylko jeden reżim (na przykład głównie spokojne warunki), zależność może nie utrzymać się, gdy warunki się zmienią.