Definicja backtestingu a powiązane pojęcia forexowe: ograniczone porównanie

Bezpośrednia odpowiedź: czym backtesting różni się od powiązanych pojęć forexowych

Definicja backtestingu oznacza zastosowanie zdefiniowanej reguły decyzyjnej do przeszłych danych rynkowych i odnotowanie, co by się stało przy określonych założeniach. Różni się od blisko powiązanych pojęć głównie okresem czasu (tylko przeszłość vs przeszłość, a następnie nowe dane), metodą oceny (odtworzenie vs emulacja wykonania) oraz celem (pomiar vs testowanie warunków stresowych przypominających przyszłość).

Poniżej znajduje się ograniczone porównanie, które łączy każde pokrewne pojęcie z jego kanonicznym właścicielem: samo pojęcie (czym jest) oraz kanoniczne miejsce, do którego należy (jego główny cel w procesie badawczo-walidacyjnym).

Mechanika: sedno definicji backtestingu

Backtest wymaga czegoś więcej niż wykresu i opisu strategii. Co najmniej potrzebujesz:

1. Zestawu reguł: jakie sygnały lub warunki wyzwalają wejście i jakie reguły rządzą wyjściami. „Zestaw reguł” oznacza tutaj deterministyczną logikę, a nie ogólną ideę.

2. Zakresu danych: jaki okres historyczny i jaki szereg cenowy (na przykład dane świecowe vs tickowe). „Zakres” określa, jakie informacje reguła mogła wykorzystać.

3. Założeń dotyczących wykonania: nawet jeśli odtwarzasz historię, musisz zdefiniować, w jaki sposób zlecenia byłyby realizowane. Typowe założenia obejmują to, czy realizacja następuje na otwarciu/zamknięciu świecy, jak traktowany jest poślizg oraz jak modelowane są koszty transakcyjne.

4. Definicji metryk: co mierzysz (takie jak stopy zwrotu, maksymalne obsunięcie kapitału, częstotliwość transakcji czy miary skorygowane o ryzyko). Metryki można obliczać na wiele sposobów, więc definicje muszą być jednoznaczne.

Gdy te elementy są ustalone, backtesting jest „ograniczony”, ponieważ odpowiada na jedno pytanie: biorąc pod uwagę podane założenia i okno historyczne, jak wyglądałaby skuteczność reguły? Nie odpowiada na pytanie, czy reguła będzie działać w następnym oknie czasowym.

Pojęcia pokrewne i ich kanoniczni właściciele (ograniczone porównania)

Backtesting vs testowanie walk-forward (kanoniczny właściciel: walidacja sekwencyjna)

• Backtesting zwykle testuje na jednym oknie historycznym (od przeszłości do wyników).
• Testowanie walk-forward rozszerza to poprzez wielokrotne trenowanie/definiowanie parametrów na wcześniejszym segmencie, a następnie testowanie na bezpośrednio następującym segmencie, przesuwając się do przodu.

Kluczowa różnica: testowanie walk-forward stara się naśladować fakt, że parametry i zachowanie mogą wymagać adaptacji, jednocześnie zmniejszając pokusę przeuczenia do pojedynczego wycinka historii.

Założenia do określenia: jak często przeprowadzasz ponowne trenowanie, czy reguła może się zmieniać oraz jakie informacje są dozwolone podczas części „treningowej”.

Backtesting vs testowanie forward (kanoniczny właściciel: ocena przypominająca przyszłość)

• Backtesting ocenia na danych historycznych.
• Testowanie forward ocenia na danych, które pojawiają się po ustaleniu logiki decyzyjnej (przyszłych względem momentu ustawienia reguły).

Kluczowa różnica: testowanie forward wykorzystuje porządek czasowy, którego backtesting nie może zagwarantować. Ma na celu wykrycie awarii, które pojawiają się, gdy zmieniają się reżimy rynkowe lub gdy rynek ewoluuje w sposób nieuwzględniony we wcześniejszej próbce.

Założenia do określenia: co jest uważane za „ustalone” na początku testowania forward oraz jak obsługiwane są koszty i wykonanie.

Backtesting vs symulacja (kanoniczny właściciel: sposób modelowania wykonania)

• Backtesting jest przede wszystkim metodą stosowania reguł do przeszłych danych.
• Symulacja jest szersza i często odnosi się do szczegółów implementacji tego, jak odtwarzasz ceny i modelujesz realizację zleceń, opóźnienia i tarcia transakcyjne.

Kluczowa różnica: dwa backtesty mogą używać tych samych reguł i danych, ale różnić się, ponieważ jeden jest w rzeczywistości symulacją wykonania z bardziej realistycznym modelowaniem realizacji zleceń.

Materiałowe kryteria porównawcze:

• granularność cen (świece vs ticki)
• czas realizacji (wejście/wyjście w określonych znacznikach czasu)
• model kosztów (założenia dotyczące spreadu/opłat/poślizgu)

Backtesting vs handel na papierze (kanoniczny właściciel: obserwacja przypominająca rzeczywistość bez ekspozycji kapitałowej)

• Backtesting jest offline; odtwarza historię.
• Handel na papierze to działanie przypominające rzeczywistość, w którym reguła jest stosowana do bieżących lub strumieniowych danych rynkowych, ale bez prawdziwych zleceń.

Kluczowa różnica: handel na papierze testuje stronę operacyjną (czas generowania sygnałów, zachowanie źródła danych i spójność logiki zleceń), ale może nie odtwarzać dokładnie rzeczywistych ograniczeń wykonawczych.

Założenia do określenia: czy handel na papierze odpowiada logice wykonania użytej w backtestie oraz w jaki sposób śledzone są rozbieżności.

Dowody i przykład: dlaczego definicje mają znaczenie dla obliczeń

Rozważ uproszczoną regułę: „Wejdź na następnej świecy po spełnieniu warunku; wyjdź po N świecach”.

Badacz może uzyskać różne „wyniki backtestu” w zależności od założeń:

• Jeśli założysz wejście na zamknięciu świecy vs otwarciu świecy, cena wykonania będzie inna.
• Jeśli założysz brak poślizgu vs stały model poślizgu, koszt obciążenia się zmieni.
• Jeśli koszty są modelowane na transakcję vs na jednostkę czasu, metryki wyników netto będą się różnić.

Aby przykład był znaczący, musisz jawnie określić założenia: rozmiar świecy, czas realizacji, model kosztów i precyzję reguły wyjścia.

To ilustruje zasadę ograniczonego porównania: backtesting i jego pojęcia pokrewne mogą wyglądać inaczej nie dlatego, że idea jest inna, ale dlatego, że mechanika oceny jest inna.

Ograniczenia i tryby awarii: co może pójść nie tak

Nawet przy starannych definicjach istnieje kilka istotnych ograniczeń:

1. Przeuczenie do historii: jeśli parametry są wielokrotnie dostrajane na tym samym zbiorze danych, zmierzona skuteczność może odzwierciedlać przypadkowe wzorce.

2. Zmiana reżimu: relacje rynkowe mogą się zmieniać; historyczne wzorce nie ustanawiają przyszłych wyników.

3. Niedopasowanie wykonania: rzeczywiste realizacje zależą od płynności, priorytetu zleceń i czasu. Backtest zakładający idealne realizacje może zawyżać realizm.

4. Problemy z jakością danych i przeżywalnością: niespójne źródła danych, brakujące świece lub błędne mapowanie instrumentów mogą zniekształcić metryki backtestu.

5. Ukryte stopnie swobody: „zestaw reguł” może być pośrednio zmieniany poprzez interpretację, filtry lub wybór transakcji do uwzględnienia.

Ponieważ te awarie są wrażliwe na definicje, weryfikacja musi być powiązana z tą samą mechaniką, której użyto w backteście, i z tymi samymi założeniami.

Weryfikacja i następne pytanie: jak niezależnie sprawdzić twierdzenia

Aby zweryfikować proces backtestingu bez polegania na przewidywaniach:

• Przedstaw ponownie założenia: jakie dane cenowe, jaki czas realizacji, jakie koszty i jakie definicje metryk zostały użyte.
• Oddziel badania od oceny: oceniaj na danych, które nie zostały użyte do zaprojektowania lub dostrojenia reguły.
• Stosuj kontrole sekwencyjne: preferuj testowanie walk-forward lub testowanie forward, gdy to możliwe, ponieważ testują one porządek czasowy.
• Testuj stresowo założenia wykonawcze: jeśli niewielkie zmiany poślizgu, spreadu lub czasu realizacji powodują duże wahania wyników, podejście może być kruche.

Następne pytanie, które należy zadać: Które części procesu są walidowane — logika reguł, modelowanie wykonania czy obsługa danych? Właściwe pokrewne pojęcie (walk-forward, testowanie forward, symulacja lub handel na papierze) zależy od tego, którą część chcesz sprawdzić.