Jakie są ograniczenia statystyk wyników?

Definicja i co faktycznie mierzą statystyki wyników

Statystyki wyników to metryki podsumowujące, które opisują wyniki handlowe w określonym okresie czasu, zwykle na podstawie zarejestrowanych transakcji, kapitału konta lub stóp zwrotu. Przykłady obejmują miary średniego zwrotu, drawdown (spadek od szczytu do dołka), zmienność (jak bardzo wyniki się wahają) oraz miary skorygowane o ryzyko, które łączą zwrot i zmienność.

W praktyce statystyki te są obliczane na podstawie danych wejściowych, takich jak znaczniki czasu, kierunek i wielkość transakcji, ceny kwotowane lub zrealizowane, a następnie czasami przeliczane na stopy zwrotu (procentowe zmiany w czasie). Ponieważ pochodzą z zaobserwowanych zapisów i wybranych formuł, ich znaczenie zależy od jakości danych i założeń wbudowanych w obliczenia.

Jak mechanika tworzy niepewność

Typowym trybem awarii jest to, że statystyki wyników kompresują złożone procesy do małego zestawu liczb.

1. Wybór danych i okna czasowego. Wybrane daty rozpoczęcia i zakończenia określają, które transakcje wchodzą do obliczeń. Jeśli okno obejmuje okresy niezwykle spokojne lub niezwykle zmienne, wynikowe metryki mogą wyglądać na bardziej stabilne lub bardziej ekstremalne, niż wyglądałyby w innych okresach.

2. Założenia dotyczące wykonania i kosztów. Na stopy zwrotu wpływają koszty transakcyjne (spready, prowizje i inne opłaty) oraz jakość wykonania (czy transakcje są realizowane po zamierzonej cenie). Wiele podsumowań wyników nie izoluje w pełni wpływu tych czynników, więc dwa zestawy statystyk mogą opisywać tę samą strategię w różny sposób.

3. Konstrukcja szeregu stóp zwrotu. Metryki często opierają się na tym, jak rejestrowane są zmiany kapitału lub salda, jak obsługiwane są częściowe zamknięcia oraz jak traktowane są brakujące lub skorygowane dane. Niewielkie różnice w tej mechanice mogą zmienić wielkość drawdown lub zmienność, nawet jeśli bazowy handel jest podobny.

4. Efekty selekcji. Jeśli wyniki są pokazywane tylko dla okresów, w których dostawca handlował, lub jeśli niekompletne historie są wykluczane, raportowane statystyki mogą być obciążoną próbką. Jest to ograniczenie pomiaru, a nie dowód, że bazowe podejście działa lub zawodzi.

Dowody i przykład, gdzie statystyki mogą wprowadzać w błąd

Rozważmy dwa konta o identycznym zachowaniu strategii, ale różnych środowiskach pomiarowych:

• Konto A rejestruje stopy zwrotu przy użyciu dłuższego okresu, który obejmuje reżimy wysokich spreadów.
• Konto B rejestruje stopy zwrotu przy użyciu krótszego okresu, który wyklucza te reżimy.

Nawet jeśli podstawowa mechanika strategii jest niezmieniona, Konto B może raportować niższy drawdown i gładsze wyniki tylko dlatego, że próbkowane warunki rynkowe były inne. Ograniczeniem nie jest arytmetyka; to niedopasowanie między warunkami użytymi do obliczenia metryk a warunkami, które mogą wystąpić później.

Innym przykładem jest interpretacja drawdown. Statystyka drawdown podsumowuje spadek, ale nie wyjaśnia, jak długo trwało odzyskanie, czy spadek był skorelowany z konkretnymi wydarzeniami, ani jak wrażliwy był na zmiany w wykonaniu. Dwóch dostawców może dzielić tę samą wartość maksymalnego drawdown, mając jednocześnie bardzo różne profile odzyskiwania.

Istotne ograniczenia i tryby awarii

Statystyki wyników mają kilka istotnych ograniczeń:

1. Brak gwarancji przyszłych wyników. Historyczne zależności między stopami zwrotu a miarami ryzyka nie zapewniają podobnego zachowania w przyszłości, zwłaszcza gdy zmieniają się reżimy zmienności i płynność rynku.

2. Ukryte założenia. Obliczenia zależą od tego, co jest liczone jako transakcja, jak mierzone są stopy zwrotu i czy koszty są w pełni odzwierciedlone. Jeśli założenia różnią się między raportami, porównania mogą być niewiarygodne.

3. Rynki niestacjonarne. Dynamika rynku może zmieniać się w czasie. Metoda, która działała w jednym środowisku, może osiągać gorsze wyniki w innym, nawet bez żadnych zmian w wykonaniu.

4. Różnice między dostawcami i w raportowaniu. Statystyki mogą odzwierciedlać sposób, w jaki platforma agreguje aktywność, obsługuje depozyty/wypłaty lub koryguje i filtruje aktywność. Różnice te mogą wpływać na liczby dotyczące wyników.

5. Błąd przetrwania i błąd raportowania. Jeśli wyświetlane są tylko udane lub aktywne historie, statystyki mogą systematycznie zawyżać typowe wyniki.

6. Czynniki jurysdykcyjne i operacyjne. Praktyczne doświadczenie handlu może się różnić w zależności od uwarunkowań prawnych i operacyjnych, których same statystyki wyników nie są w stanie wiarygodnie uchwycić.

Weryfikacja i kolejne pytania, które należy zadać

Aby zweryfikować, co statystyki wyników oznaczają w konkretnym przypadku, sprawdź, czy raportowane metryki można odtworzyć z bazowych zapisów transakcji lub kapitału, oraz zidentyfikuj dane wejściowe obliczeń i okna czasowe.

Kolejne pytania, które pomagają ujawnić ograniczenia:

• Jaki okres czasu jest używany i jakie warunki rynkowe w nim dominują? - Czy koszty i szczegóły wykonania są uwzględniane w sposób spójny? - Jak depozyty, wypłaty i korekty są traktowane w szeregu stóp zwrotu?