Jak można zweryfikować informacje o praktyce testów wstecznych?

Bezpośrednia odpowiedź

Informacje o praktyce testów wstecznych można zweryfikować, sprawdzając (1) jaką dokładnie metodę zastosowano, (2) jakie przyjęto dane wejściowe (dane, koszty, zasady realizacji zleceń), (3) czy wyniki można odtworzyć na podstawie tych danych wejściowych oraz (4) czy przetestowano znane tryby awarii. Twierdzenie jest znaczące tylko wtedy, gdy jest na tyle konkretne, aby można było je ponownie uruchomić, i na tyle niezależne, aby inna osoba mogła dojść do tych samych wniosków przy tych samych założeniach.

Definicja i weryfikacja „czego”

Praktyka testów wstecznych to proces oceny modelu transakcyjnego lub reguły decyzyjnej poprzez zastosowanie go do danych historycznych i symulowanie, co wydarzyłoby się przy zastosowaniu jednoznacznego zestawu reguł. Weryfikacja rozpoczyna się od rozdzielenia:

• Stabilnych mechanizmów: kroków algorytmicznych (logika wejścia/wyjścia, zasady pozycji, obliczenia ryzyka) oraz procedury obliczeniowej.
• Zmiennych warunków: zachowania rynku w czasie oraz wszelkich założeń, które mogą zmienić wynik, takich jak spready, prowizje, poślizg, płynność i czas realizacji zleceń.

Przydatnym celem weryfikacji jest pełna specyfikacja. Co najmniej informacje powinny określać, która reguła decyzyjna została przetestowana, jakie okresy danych zostały użyte, jak generowano sygnały w czasie oraz jak symulowano transakcje.

Dowody i przykładowe kontrole, które możesz odtworzyć

Użyj hierarchii źródeł, która odpowiada temu, jak twierdzenia stają się testowalne:

1. Podstawowy opis metody: oryginalny opis procedury testów wstecznych (logika i wzory).
2. Przejrzystość danych wejściowych: źródło danych historycznych i kroki przetwarzania wstępnego (czyszczenie, ponowne próbkowanie, znaczniki czasu).
3. Model realizacji: zasady dotyczące tego, jak zlecenia zostałyby zrealizowane (źródło cen, założenia dotyczące opóźnień oraz sposób naliczania kosztów).
4. Ślad obliczeniowy: wystarczająca ilość szczegółów, aby odtworzyć metryki z surowych wyników (lista transakcji, obliczenia wielkości pozycji i metoda agregacji).

Powtarzalne kroki weryfikacji:

• Krok 1: Zapisz założenia. Zapisz każde założenie, które wpływa na wyniki: strefę czasową i wyrównanie świec, czy model używa ceny zamknięcia czy otwarcia, koszty transakcyjne oraz czy realizacja zakłada dostępność ceny z tej samej świecy.
• Krok 2: Sprawdź czas zdarzeń (wyprzedzanie vs. opóźnianie). Upewnij się, że decyzje w czasie t wykorzystują wyłącznie informacje, które byłyby znane w czasie t. Częstym błędem jest używanie przyszłych świec do tworzenia cech lub podejmowania decyzji o wejściu.
• Krok 3: Zweryfikuj logikę realizacji. Potwierdź, jak model przekształca reguły decyzyjne w transakcje: kiedy zmieniają się pozycje, jak odejmowane są koszty oraz czy częściowe realizacje lub poślizg są ignorowane czy przybliżane.
• Krok 4: Przelicz metryki z dziennika transakcji. Jeśli test wsteczny raportuje tylko statystyki zbiorcze, poproś o podstawowe wyniki transakcja po transakcji lub odtwórz je na podstawie podanych wzorów.
• Krok 5: Przeprowadź test wrażliwości. Zmieniaj jedno założenie na raz w rozsądnych zakresach (na przykład nieco inne założenia dotyczące kosztów lub realizacji) i potwierdź, czy wyniki są odporne, czy też załamują się.

Istotne ograniczenia i tryby awarii, na które należy wyraźnie zwrócić uwagę:

• Błąd wyprzedzania (look-ahead bias) (wykorzystanie informacji niedostępnych w momencie podejmowania decyzji).
• Przeuczenie i wielokrotne testowanie (dopasowywanie parametrów do historycznych osobliwości).
• Nierealistyczna realizacja zleceń (zakładanie doskonałego wykonania bez wpływu płynności lub poślizgu).
• Błąd selekcji (wybieranie korzystnych okresów po zobaczeniu wyników).

Ponieważ zależności historyczne nie gwarantują przyszłych wyników, weryfikacja powinna skupić się na tym, czy metoda jest wewnętrznie spójna i czy wykazuje odporność na prawdopodobne zmiany założeń.

Ograniczenia i ryzyka

Nawet gdy testy wsteczne są przeprowadzane starannie, wyniki pozostają warunkowe względem podanych założeń. Koszty, czas realizacji i mikrostruktura rynku mogą się znacznie różnić w poszczególnych okresach, a niewielkie różnice w modelowaniu mogą prowadzić do dużych zmian w metrykach. Dlatego weryfikacja nie powinna traktować mocnych wyników testów wstecznych jako dowodu przyszłych wyników; jest to dowód, że metoda może zachowywać się w określony sposób w określonych symulowanych warunkach.

Lista kontrolna weryfikacji i kolejne pytanie

Aby niezależnie zweryfikować twierdzenie dotyczące testów wstecznych, potwierdź, że wszystkie poniższe elementy są jasno określone i można je ponownie uruchomić:

1. Zakres danych i szczegóły przetwarzania wstępnego.
2. Dokładna logika decyzyjna i sposób jej odwzorowania na zlecenia.
3. Założenia dotyczące czasu realizacji i sposób wyboru cen dla realizacji.
4. Założenia dotyczące kosztów i sposób ich naliczania dla każdej transakcji.
5. Powtarzalne wyniki (co najmniej dziennik transakcji lub ślad obliczeniowy).

Jeśli którykolwiek z tych elementów brakuje, nadal możesz ocenić twierdzenie jakościowo, ale nie możesz go w pełni zweryfikować. Kolejne pytanie, które należy zadać, brzmi: Czy ten sam test wsteczny można odtworzyć od początku do końca, używając wyłącznie dostarczonych informacji, bez dodawania ukrytych założeń?