Ograniczenia testowania poza próbą
Bezpośrednia odpowiedź
Testowanie poza próbą ma na celu oszacowanie, jak dobrze model lub reguła może działać na danych, których nie widział podczas dopasowywania. Jego głównym ograniczeniem jest to, że „niewidziane” dane historyczne nadal nie są tym samym, co przyszłe, rzeczywiste warunki. Nawet gdy wyniki testów poza próbą wyglądają solidnie, błędy mogą pozostać z powodu zmieniających się zachowań rynku, niedoskonałych założeń (zwłaszcza dotyczących kosztów i wykonania) oraz wyborów dotyczących sposobu podziału danych i przeprowadzenia oceny.
Mechanizm i definicja
Typowy przebieg pracy to: (1) dopasowanie modelu lub reguły decyzyjnej przy użyciu okresu treningowego, (2) przetestowanie go na okresie poza próbą, którego model nie używał do wyboru parametrów, oraz (3) porównanie wskaźników, takich jak średni zwrot, obsunięcia kapitału czy miary podobne do dokładności (w przypadku klasyfikacji). Celem jest wykrycie przeuczenia: tendencji reguły do dopasowywania się do szumu w zbiorze treningowym.
Testowanie poza próbą zmniejsza jedno konkretne ryzyko — ponowne wykorzystanie tych samych danych zarówno do strojenia, jak i oceny. Nie usuwa jednak innych źródeł niepewności. Test nadal zależy od założeń dotyczących tego, co było dostępne w danym czasie, jak transakcje zostałyby wykonane oraz czy statystyczne zależności z przeszłości będą się utrzymywać.
Aby jakiekolwiek obliczenia były interpretowalne, należy określić założenia. Na przykład: jakie dokładnie okna czasowe definiują okres treningowy, a jaki testowy, czy istnieją nakładające się okna, jak obsługiwane są brakujące dane oraz jakie koszty i poślizg wykonania są modelowane (lub ignorowane). Bez tych szczegółów dwie osoby mogą opisywać różne eksperymenty, używając tego samego wyrażenia.
Dowody lub przykład (tryby awarii)
Rozważmy regułę, która wydaje się stabilna, gdy jest testowana na pojedynczym przedziale poza próbą. Nadal mogą wystąpić pewne istotne tryby awarii:
-
Zmiana danych (zmiana reżimu): Jeśli zmienność, płynność, spready lub typowa dynamika cen zmienią się po okresie poza próbą, model może ekstrapolować nieprawidłowo. Historyczne „niewidziane” dane nie gwarantują pokrycia przyszłych reżimów.
-
Ukryte efekty selekcji: Nawet przy czystym podziale na zbiór treningowy/testowy można przypadkowo wybrać „najlepiej wyglądającą” konfigurację, testując wiele wariantów, a następnie skupiając się na tym, który wypadł najlepiej poza próbą. Wynik może być optymistyczny, ponieważ ocena staje się częścią procesu selekcji.
-
Niedopasowanie wskaźników oceny: Model może dobrze wypadać na wskaźniku, który nie odzwierciedla rzeczywistych ograniczeń. Na przykład strategia może wykazywać akceptowalną średnią wydajność, ale nadal opierać się na rzadkich zdarzeniach, które są trudne do niezawodnego wykonania.
-
Koszty i niepewność wykonania: Backtesting często wykorzystuje uproszczone założenia. Rzeczywiste wyniki mogą się różnić, gdy uwzględni się realistyczne spready, prowizje, efekty finansowania/nocne, opóźnienia, zachowanie realizacji zleceń lub konserwatywne zarządzanie ryzykiem. Testowanie poza próbą może być wewnętrznie spójne z własnymi założeniami, ale nadal może błędnie przedstawiać rzeczywiste warunki.
-
Ograniczenia wielkości próby: Jeśli okno poza próbą jest krótkie, szacunki wydajności mają wysoką wariancję. Pozornie wiarygodny wynik może być dziełem przypadku.
Ograniczenia i ryzyka
Ograniczenia najlepiej podsumować jako zestaw problemów „czego nie kontrolowałeś”:
- Zależności historyczne mogą nie przetrwać. Testowanie poza próbą mierzy zależność od przeszłych wzorców, a nie nieuchronność w przyszłości.
- Założenia są zmienne. Koszty, wykonanie i szczegóły operacyjne są często największymi różnicami między backtestami a rzeczywistością.
- Niepewność pozostaje nawet bez przeuczenia. Usunięcie przeuczenia na zbiorze treningowym nie gwarantuje generalizacji przy zmianach rozkładu.
- Wyniki mogą być kruche. Wydajność może zależeć od dokładnego podziału, dokładnych kroków przetwarzania wstępnego i dokładnego sposobu symulacji transakcji.
Ze względu na te problemy testowanie poza próbą jest bardziej wiarygodne jako kontrola solidności niż jako dowód. Dostarcza dowodów w określonych warunkach, a nie pewności.
Weryfikacja lub kolejne pytanie
Aby niezależnie zweryfikować twierdzenia dotyczące testu poza próbą, skup się na powtarzalności, a nie na perswazji. Poproś o: (1) dokładną definicję okresów treningowych i poza próbą, (2) kroki przetwarzania wstępnego i zasady czyszczenia danych, (3) założenia dotyczące kosztów/wykonania użyte w teście, (4) liczbę konfiguracji lub hiperparametrów wypróbowanych przed wyborem raportowanego wyniku oraz (5) czy wyniki są spójne w wielu nienakładających się podziałach.
Przydatne kolejne pytanie brzmi: Jak wrażliwe są wyniki na podział, długość okna czasowego oraz model wykonania/kosztów? Jeśli małe zmiany w istotny sposób zmieniają wnioski, to test poza próbą sygnalizuje kruchość, a nie solidność.