Przykład praktyczny testowania poza próbą

Bezpośrednia odpowiedź

Testowanie poza próbą to sposób sprawdzenia, jak reguła decyzyjna (na przykład model prognostyczny lub reguła strategii) radzi sobie na danych, których nie widziała podczas dopasowywania lub strojenia. Przykład praktyczny wyjaśnia tę logikę: tworzysz model na pierwszej części danych historycznych, a następnie oceniasz go na osobnej „wstrzymanej” części. Celem jest oszacowanie skuteczności bez optymistycznego obciążenia, które wynika z dopasowywania się do tych samych danych.

Przykład praktyczny powinien wprost określać założenia, takie jak sposób dokonania podziału, jakie obliczenia są powtarzane i jak obliczana jest skuteczność. Powinien również wskazywać ograniczenia: wyniki poza próbą mogą nadal być błędne, gdy rynek się zmienia, gdy koszty i wykonanie są nierealistyczne lub gdy informacje z okresu oceny wyciekają do etapów dopasowywania.

Mechanizm i definicja

Oto podstawowy przebieg pracy, opisany ogólnie:

1. Wybierz rodzinę modeli i procedurę dopasowywania. To część, która może „uczyć się” z danych.
2. Podziel dostępny zbiór danych na dwa rozłączne zbiory: okres w próbie (treningowy) i okres poza próbą (testowy).
3. Dopasuj lub dostrój wyłącznie na zbiorze w próbie (w tym wybór hiperparametrów lub progów).
4. Zamroź model i oceń go jednokrotnie na zbiorze poza próbą.

Ważne terminy w tym kontekście:

• „W próbie” oznacza dane użyte do dopasowania/strojenia.
• „Poza próbą” oznacza dane zarezerwowane do oceny.
• „Wstrzymany” oznacza, że okres testowy nie jest używany do dalszych decyzji dotyczących strojenia.

Dlaczego to pomaga: gdy stroisz na tych samych danych, na których oceniasz, możesz przypadkowo uchwycić szum. Testowanie poza próbą redukuje to konkretne obciążenie, wymuszając ocenę na niewidzianych danych.

Dowód lub praktyczny przykład liczbowy (z wyraźnymi założeniami)

Załóżmy, że chcesz przewidzieć kierunek na następny dzień (w górę lub w dół) na podstawie jednej cechy, X, obliczonej z informacji dostępnych każdego dnia przed rozpoczęciem następnego dnia.

Założenia dla przykładu:

• Masz 20 kolejnych dni danych.
• Dni 1–12 są w próbie; dni 13–20 są poza próbą.
• Model to prosta reguła: przewiduj „w górę”, jeśli X > T, w przeciwnym razie przewiduj „w dół”.
• Wartości X i zrealizowane wyniki na następny dzień są stałe (nie pojawiają się nowe dane).
• Podczas strojenia możesz wybrać T, używając wyłącznie dni 1–12.
• Obliczasz dokładność jako ułamek poprawnych prognoz kierunku na następny dzień.

Krok A: Dostrój T na zbiorze w próbie (dni 1–12) Załóżmy, że podczas testowania kandydackich progów najlepszy próg na dniach 1–12 to T = 0,50.

• Dokładność w próbie przy użyciu T=0,50: 9 poprawnych na 12 = 75%.

Krok B: Zamroź i oceń na zbiorze poza próbą (dni 13–20) Teraz zastosuj zamrożoną regułę (w górę, jeśli X>0,50, w przeciwnym razie w dół) do dni 13–20. Załóżmy, że reguła daje:

• 3 poprawne na 8 dni.
• Dokładność poza próbą = 3/8 = 37,5%.

Jak interpretować ten wynik liczbowy

• Wynik w próbie (75%) sugeruje, że reguła pasuje do czegoś w okresie treningowym.
• Spadek poza próbą do 37,5% wskazuje, że pozorna zależność w próbie nie uogólniła się dobrze na późniejszy okres.
• Nie dowodzi to, że reguła jest bezużyteczna na zawsze; pokazuje, że przy podanym podziale i założeniach dowody z okresu oceny są słabsze niż dowody z treningu.

Ograniczenia i istotne tryby awarii

Testowanie poza próbą redukuje jedną formę obciążenia, ale nie gwarantuje wiarygodnej przyszłej skuteczności. Istotne ograniczenia obejmują:

1. Porównania wielokrotne i nadużywanie zbioru testowego Jeśli wielokrotnie dostosowujesz T (lub inne wybory) na podstawie wyników z okresu testowego, test staje się częściowo w próbie. To ponownie wprowadza optymistyczne obciążenie.

2. Wyciek danych Jeśli jakakolwiek część procesu dopasowywania przypadkowo wykorzysta informacje niedostępne w momencie prognozy (na przykład dane pochodzące z przyszłości), oszacowanie poza próbą może być nieważne nawet przy czystym podziale.

3. Niestacjonarność (zmiana reżimu) Szlaki czasowe na rynkach finansowych mogą zmieniać zachowanie w czasie. Model, który działa w jednym okresie, może zawieść w innym, ponieważ podstawowa zależność między X a wynikiem uległa przesunięciu.

4. Brak realizmu: koszty i wykonanie Nawet jeśli prognozy kierunku są „poprawne”, rzeczywiste wyniki zależą od kosztów transakcyjnych, spreadów i momentu wykonania. Uproszczone metryki oceny mogą zawyżać praktyczne wyniki.

5. Efekty małej próby Przy ograniczonych danych poza próbą oszacowanie może charakteryzować się wysoką zmiennością. Niska lub wysoka liczba może odzwierciedlać losowość, a nie prawdziwą generalizację.