Testowanie na danych przyszłych (Forward Testing)

Bezpośrednia odpowiedź: czym jest testowanie na danych przyszłych

Testowanie na danych przyszłych to metoda oceny, w której bierzesz zasady handlowe zdefiniowane wcześniej (na przykład po testowaniu wstecznym), a następnie testujesz je na późniejszych informacjach, które nie zostały użyte do stworzenia lub dostrojenia tych zasad. W praktyce „później” często oznacza nowy okres czasu po okresie użytym do opracowania strategii lub zbiór danych, który jest utrzymywany w pełni oddzielnie.

Kluczowa idea jest prosta: testowanie na danych przyszłych stara się naśladować to, co by się stało, gdyby zasady spotkały się z rzeczywistymi warunkami poza próbką historyczną używaną do ich zaprojektowania. Jest stosowane na rynku Forex i innych rynkach w celu oceny, czy strategia jest solidna, a nie ściśle dopasowana do konkretnego minionego okresu.

Jak działa testowanie na danych przyszłych

Testowanie na danych przyszłych jest zwykle zbudowane wokół stałego zestawu zasad i ścisłego rozdzielenia etapu opracowywania od etapu oceny.

1) Zacznij od pełnej definicji zasad

Test na danych przyszłych wymaga wystarczającej ilości szczegółów, aby był powtarzalny bez „dostrajania w locie”. Zwykle obejmuje to logikę wejścia i wyjścia, założenia dotyczące wielkości pozycji (nawet jeśli są uproszczone), kontrolę ryzyka, jeśli występuje, oraz założenia dotyczące sesji handlowej (na przykład, czy dopuszczasz transakcje przez cały czas, czy tylko w określonych godzinach).

„Stałe zasady” mają znaczenie, ponieważ jakiekolwiek zmiany wprowadzone po zobaczeniu wczesnych wyników mogą zatrzeć granicę między oceną a optymalizacją.

2) Utrzymuj okres oceny oddzielnie

Dane do oceny nie powinny być naruszane na etapie budowania zasad. Separacja może być oparta na czasie (późniejszy zakres dat) lub na zbiorze danych (oddzielny wycinek danych). W obu przypadkach celem jest zapobieżenie przedostawaniu się informacji z zestawu oceniającego do procesu opracowywania.

Nawet przy prawidłowym podziale wyniki mogą być mylące, jeśli etap opracowywania przypadkowo wpłynął na projekt testu (na przykład poprzez wybór wskaźników, progów lub filtrów po zaobserwowaniu wzorców w okresie, który powinien być okresem oceny).

3) Zastosuj zasady i zapisz wyniki

Podczas testowania na danych przyszłych uruchamiasz zasady na danych oceniających, używając tych samych założeń, które zostały użyte przy definiowaniu zasad. Wyniki są mierzone za pomocą odpowiednich wskaźników wydajności, istotnych dla zestawu zasad i zakresu testowania (na przykład spójność w czasie, zachowanie drawdownu i stabilność wyników, a nie tylko pojedyncza główna liczba).

Szczegóły wykonania mają znaczenie. Jeśli test wykorzystuje uproszczone wypełnienia (na przykład zakładając idealne wypełnienia lub ignorując koszty transakcyjne), może przeszacować realizm. Jeśli test uwzględnia bardziej realistyczne tarcia (takie jak spready i prowizje jako założenia), nadal może być niepewny, ponieważ rzeczywiste wykonanie może się różnić.

4) Interpretuj wyniki jako dowód, a nie jako potwierdzenie

Test na danych przyszłych jest sprawdzeniem solidności, a nie gwarancją. Nawet jeśli okres testowy wypadnie dobrze, pozostaje on tylko jedną próbką warunków rynkowych. Jeśli wypadnie słabo, może to wskazywać, że zasady są kruche—lub może odzwierciedlać fakt, że okres oceny był wyjątkowo trudny w porównaniu z okresem opracowywania.

Istotne ograniczenia i ryzyka

Testowanie na danych przyszłych zmniejsza niektóre typowe problemy (w szczególności przeuczenie), ale nie eliminuje niepewności.

Ograniczona wielkość próbki i zmieniające się warunki rynkowe

Warunki na rynku Forex mogą się zmieniać w czasie z powodu wydarzeń makroekonomicznych, zmian reżimu zmienności, różnic w płynności oraz zmian typowych spreadów. Test na danych przyszłych obejmuje tylko wycinek czasu, więc wynik może odzwierciedlać ten konkretny reżim.

Z tego powodu testowanie na danych przyszłych nie może zapewnić pewności co do przyszłych wyników; może jedynie dostarczyć lepiej poinformowanego szacunku niż samo testowanie wsteczne.

Stronniczość poprzez „ukryte dostrajanie”

Nawet jeśli zestaw oceniający jest początkowo oddzielony, stronniczość może się wkraść, gdy wielokrotnie uruchamiasz warianty strategii, a następnie promujesz wersję, która wygląda najlepiej w oknie testu na danych przyszłych. Jest to czasami opisywane jako wielokrotne testowanie przy wielu szansach.

Innym częstym ryzykiem jest dokonywanie uznaniowych korekt po zobaczeniu początkowego zachowania. Jeśli zasady zmieniają się z powodu zaobserwowanych wyników w okresie testowym, test przestaje być czystą oceną.

Luki w realizmie wykonania

Testowanie na danych przyszłych często opiera się na założeniach dotyczących wykonania i ograniczeń handlowych. Jeśli te założenia są uproszczone, wyniki mogą być optymistyczne. Jeśli są nadmiernie konserwatywne, wyniki mogą wyglądać gorzej, niż można by osiągnąć.

Ponadto „papierowe” testowanie lub symulacja mogą nie w pełni oddawać czynniki operacyjne, takie jak obsługa zleceń, zachowanie poślizgu i wpływ spreadów w momencie wyzwalania decyzji. Stopień rozbieżności różni się w zależności od implementacji.

Wybór wskaźników może zniekształcać wnioski

Wybieranie wskaźników wydajności po zobaczeniu wyników może zmienić znaczenie „sukcesu”. Na przykład skupienie się tylko na jednym wskaźniku może ukryć niestabilne zachowanie lub nierówne wyniki w podokresach.

Interpretowanie wielu spójnych sygnałów dotyczących stabilności jest często bardziej pouczające niż poleganie na jednej liczbie podsumowującej.

Testowanie na danych przyszłych a powiązane oceny (szybkie porównanie)

Testowanie na danych przyszłych jest często przeciwstawiane testowaniu wstecznemu.

• Testowanie wsteczne ocenia zasady na danych historycznych, co może sprzyjać przeuczeniu, jeśli pętla opracowywania nie jest kontrolowana.
• Testowanie na danych przyszłych ocenia już zdefiniowane zasady na późniejszych, nieznanych danych, aby sprawdzić, czy pozornie dopasowanie z testów wstecznych ma zastosowanie w szerszym kontekście.

Mówiąc ogólniej, każda ocena, która wykorzystuje przyszłe informacje w odniesieniu do definicji zasad (i utrzymuje je oddzielnie), jest zgodna z tą samą podstawową zasadą: zmniejszenie przeuczenia poprzez testowanie poza próbką używaną do opracowywania.

Praktyczne weryfikacje dla niezależnej oceny (nie stanowią porady)

Aby wyniki były bardziej niezależnie weryfikowalne, test na danych przyszłych zwykle wymaga przejrzystości co do definicji zasad, dokładnego podziału między etapem opracowywania a oceną oraz założeń użytych do wykonania.

Typowe elementy, które możesz niezależnie przejrzeć, obejmują:

• Czy okres oceny był naprawdę wykluczony z tworzenia i dostrajania zasad.
• Czy zasady pozostały niezmienione podczas oceny.
• Jakie założenia przyjęto dotyczące kosztów transakcyjnych i wypełnień (jeśli takie istnieją).
• Jak wyniki są podsumowywane w czasie, a nie tylko jako jedna liczba.

Kiedy wyniki testowania na danych przyszłych są najbardziej pouczające

Testowanie na danych przyszłych jest najbardziej pouczające, gdy jest traktowane jako kontrolowane porównanie tych samych stałych zasad przy jasno określonym rozdzieleniu czasu lub danych. Jest również bardziej pouczające, gdy test unika wielokrotnego wybierania najlepszych wyników spośród wielu wariantów.

Ponieważ jest to wciąż jedna próbka warunków rynkowych, mocne wnioski należy formułować ostrożnie: testowanie na danych przyszłych może zwiększyć pewność w porównaniu z testowaniem wstecznym, ale nie może usunąć nieodłącznej niepewności rynków na żywo.