Jak odpowiedzialnie przeprowadzić backtesting wskaźnika Rate Of Change?

Bezpośrednia odpowiedź

Odpowiedzialne przeprowadzenie backtestingu wskaźnika Rate Of Change (ROC) oznacza traktowanie go jak eksperymentu: określasz dokładne dane i formułę ROC, modelujesz nieuniknione koszty, kontrolujesz obciążenia, a następnie weryfikujesz wyniki na danych, na których model nie był dostrajany. Celem nie jest „udowodnienie” przyszłych wyników, ale sprawdzenie, czy pomysł oparty na ROC pozostaje spójny przy rozsądnych, jasno określonych założeniach.

Mechanika: zdefiniuj, co będziesz testować

Rate Of Change to wskaźnik typu momentum, który mierzy, jak bardzo wartość zmienia się w wybranym okresie wstecznym. W większości podręcznikowych form ROC jest obliczany na podstawie ceny (lub innego szeregu) przy użyciu stałej długości okna. Aby przeprowadzić backtesting w sposób odpowiedzialny, musisz z góry zdefiniować wszystkie poniższe elementy:

• Szereg wejściowy: jaką wartość używasz (na przykład zmiany cen close-to-close) oraz czy używasz surowych cen, czy stóp zwrotu.
• Okres wsteczny (n): liczba świec użytych do obliczenia zmiany.
• Formuła ROC: na przykład zmiana procentowa w porównaniu ze zmianą bezwzględną. Stosuj jedną definicję konsekwentnie.
• Próbkowanie i czas: zdecyduj, czy wartość ROC jest obliczana na zamknięciu świecy i kiedy zakłada się wejście w transakcję (na przykład na otwarciu następnej świecy).

Odpowiedzialny backtesting rozdziela również dwie warstwy: (1) obliczanie wskaźnika, które jest deterministyczne przy danej formule i danych; oraz (2) regułę transakcyjną i model wykonania, które muszą odzwierciedlać rzeczywiste koszty.

Dowody lub przykład: zbuduj backtesting jak kontrolowany eksperyment

Częstym błędem jest to, że wskaźnik wygląda na „użyteczny” w próbie tylko dlatego, że osoba przeprowadzająca backtesting przypadkowo pozwala strategii korzystać z informacji, które nie byłyby dostępne w czasie rzeczywistym. Aby zmniejszyć to ryzyko, uwzględnij następujące kontrole:

1. Realizm wykonania (modelowanie kosztów) Nawet bez danych na żywo możesz modelować koszty. Jako minimum uwzględnij ogólny koszt typu spread na wejście/wyjście oraz rezerwę na poślizg, która odzwierciedla niedoskonałe wykonanie. Określ jasno, czy koszty stosujesz przy każdej akcji transakcyjnej, czy tylko przy zmianie pozycji.

2. Czas podejmowania decyzji Upewnij się, że wartość ROC użyta do podjęcia decyzji transakcyjnej jest obliczana wyłącznie na podstawie przeszłych świec. Zapobiega to obciążeniu wynikającemu z patrzenia w przyszłość (look-ahead bias).

3. Dyscyplina wyboru parametrów Jeśli wybierasz długość okna ROC, progi lub inne parametry reguły, optymalizując wyniki na pełnym zbiorze danych, ryzykujesz przeuczenie (overfitting). Bardziej odpowiedzialne podejście polega na wybraniu parametrów na oknie treningowym, a następnie ocenie ich na osobnym oknie walidacyjnym.

4. Testowanie kroczące lub poza próbą Zamiast jednego podziału na zbiór treningowy i testowy, użyj przesuwanych okien (walk-forward), aby sprawdzić, czy wyniki pogarszają się, gdy zmienia się reżim rynkowy.

5. Kontrole stabilności Powtórz test z niewielkimi zmianami: lekko zmień okres wsteczny, przesuń okno walidacyjne lub przetestuj alternatywne, ale rozsądne definicje szeregu wejściowego (tylko jeśli wcześniej zdefiniujesz tę eksplorację). Jeśli wyniki załamują się przy małych zmianach, pierwotny sygnał jest prawdopodobnie kruchy.

Ograniczenia i ryzyka: co może pójść nie tak

Kilka istotnych ograniczeń może sprawić, że backtesting ROC będzie mylący:

• Brak powtarzalności historycznej: przeszłe zależności nie gwarantują przyszłych zachowań. ROC może pozostać matematycznie spójny, podczas gdy dynamika rynku się zmienia.
• Wrażliwość na koszty: strategie oparte na momentum często handlują częściej. Jeśli koszty są niedoszacowane, wyniki mogą wyglądać lepiej, niż mogłyby być w rzeczywistości.
• Przeuczenie i porównania wielokrotne: testowanie wielu progów i wartości parametrów zwiększa prawdopodobieństwo znalezienia wzorców, które pasują do szumu.
• Zależność od reżimu: ROC może zachowywać się inaczej w trendzie niż w warunkach bocznych, więc mieszanie reżimów może ukrywać słabości.
• Jakość danych i efekty przetrwania: jeśli historyczny zbiór danych jest niekompletny lub niespójny, wyniki mogą odzwierciedlać artefakty danych.

Weryfikacja lub kolejne pytanie

Aby niezależnie zweryfikować kluczowe fakty, możesz przeprowadzić kontrolną listę pytań dotyczących własnego projektu backtestingu:

• Czy potrafisz dokładnie zapisać obliczenie ROC, w tym długość okna wstecznego i wybrany szereg wejściowy?
• Czy każda decyzja transakcyjna wykorzystuje wyłącznie informacje, które byłyby znane w momencie podejmowania decyzji?
• Czy modelujesz koszty i stosujesz je spójnie z regułą transakcyjną?
• Czy zachowałeś segment poza próbą (lub zastosowałeś walidację kroczącą), który nie był używany do wyboru parametrów?
• Czy po powtórzeniu testu z małymi, wcześniej zdefiniowanymi zmianami wyniki pozostają w dużej mierze podobne?

Przydatne kolejne pytanie nie brzmi „czy ROC dobrze przewiduje”, ale „przy jakich założeniach i w jakich reżimach rynkowych zachowanie oparte na ROC pozostaje stabilne po uwzględnieniu kosztów i kontroli obciążeń?”