Jak można zweryfikować informacje o danych historycznych?
Bezpośrednia odpowiedź
Informacje o danych historycznych można zweryfikować, sprawdzając (1) wiarygodność hierarchii źródeł, (2) czy transformacje danych są udokumentowane oraz (3) czy można odtworzyć wszelkie pochodne liczby przy użyciu podanej metody. Ponieważ zależności historyczne nie gwarantują przyszłych wyników, celem jest dokładność co do tego, co mówiły dane i jak zostały przetworzone—a nie przewidywanie.
Mechanizm i definicja
Dane historyczne to zarejestrowane informacje z przeszłości, zwykle prezentowane jako wartości z oznaczeniem czasu (na przykład: ceny, kursy lub indeksy). „Informacje o danych historycznych” mogą oznaczać różne rzeczy: surowe obserwacje, skorygowane serie (w przypadku splitów lub działań korporacyjnych na innych rynkach) lub obliczone wskaźniki (na przykład: stopy zwrotu). Weryfikacja wymaga zatem rozdzielenia stabilnych mechanizmów od zmiennych warunków.
Praktyczna hierarchia źródeł wygląda następująco:
- Oryginalne lub pierwotne zapisy (surowe feedy, oficjalne publikacje lub neutralne względem dostawców zbiory danych).
- Udokumentowane transformacje (w jaki sposób wartości zostały skorygowane, przefiltrowane, ponownie próbkowane lub oczyszczone).
- Powtarzalne etapy obliczeń (dokładne formuły użyte do obliczenia pochodnych wskaźników).
- Uzupełniające podsumowania (tabele, wykresy lub komentarze), które muszą być zgodne z bazowymi przetworzonymi danymi.
Podczas weryfikacji twierdzenia należy również określić założenia dla każdego etapu: ramy czasowe (dzienne vs. godzinowe), strefę czasową, regułę próbkowania, czy wartości są bid/ask/mid oraz jakie koszty lub założenia dotyczące wykonania zostały uwzględnione (jeśli w ogóle). Bez tego „te same dane historyczne” mogą dawać różne wyniki.
Dowody i powtarzalne etapy weryfikacji
Informacje o danych historycznych można zweryfikować za pomocą powtarzalnego procesu:
- Określ poziom danych: Czy twierdzenie dotyczy surowych wartości, wartości skorygowanych czy pochodnego wskaźnika? Zapisz, co oznacza „dane historyczne” w tym twierdzeniu.
- Odzyskaj dane wejściowe: Uzyskaj oryginalną serię (lub jej najbliższy odpowiednik) dla tych samych instrumentów i zakresu dat, przy użyciu tej samej rozdzielczości danych.
- Potwierdź transformacje: Sprawdź, czy zastosowano jakiekolwiek korekty. Jeśli brakuje dokumentacji, potraktuj twierdzenie jako nie w pełni weryfikowalne.
- Przelicz wartości pochodne: Użyj podanej formuły (lub wywnioskuj ją z opisanej metodologii) i oblicz wskaźnik z uzyskanej przetworzonej serii.
- Porównaj z niezależnym podsumowaniem: Porównaj swoje zrekonstruowane wyniki z opublikowanym wynikiem dla tych samych dat. Różnice są dowodem na to, że dane wejściowe, transformacje lub obliczenia się różnią.
Jako przykład powtarzalności: jeśli źródło podaje obliczoną serię „stóp zwrotu”, można ją zweryfikować, przeliczając stopy zwrotu z podanej serii cen przy użyciu tego samego dopasowania dat i definicji stopy zwrotu (prosta vs. logarytmiczna, z uwzględnieniem lub bez uwzględnienia punktów końcowych). Jeśli przeliczone wartości nie są zgodne, twierdzenie jest niekompletne lub metodologia się różni.
Ograniczenia i ryzyka
Należy zawsze sprawdzić co najmniej jeden istotny tryb awarii:
- Brakujące lub niespójne dane: Święta, awarie i niepełne historie mogą powodować luki lub mylącą ciągłość.
- Błąd selekcji: Błąd przetrwania i wybiórczo dobrane okna czasowe mogą sprawić, że wzorce historyczne będą wyglądać na silniejsze, niż są w rzeczywistości.
- Różne konwencje korekt: Zmiany konwencji (strefy czasowe, pola kwotowań, reguły próbkowania) mogą zmienić wyniki nawet przy „tych samych datach”.
- Niestacjonarne zależności: Zależności historyczne mogą się załamać z powodu zmian reżimu rynkowego.
Należy również zauważyć niepewność związaną z realizmem wykonania. Nawet jeśli zweryfikujesz historyczne ceny, każda testowana wstecznie lub obliczona wydajność, która zakłada koszty, spready, poślizg lub reguły wypełnienia, może różnić się od bazowej serii historycznej.
Wreszcie, dane historyczne mogą być poprawne, ale nieistotne dla podejmowania decyzji: weryfikacja „co się wydarzyło” nie jest tym samym, co weryfikacja „co się wydarzy”.
Lista kontrolna weryfikacji i kolejne pytanie
Aby zweryfikować informacje o danych historycznych, można użyć następującej listy kontrolnej:
- Twierdzenie określa poziom danych (surowy, skorygowany lub pochodny).
- Twierdzenie określa rozdzielczość czasową, strefę czasową i dopasowanie.
- Twierdzenie podaje udokumentowane reguły transformacji.
- Można przeliczyć pochodne wskaźniki na podstawie opisanej metodologii.
- Dokumentujesz założenia i sprawdzasz, czy inni mogliby powtórzyć te same etapy.
Przydatne kolejne pytanie brzmi: „Która część twierdzenia jest najbardziej niedookreślona—dane wejściowe, transformacje czy obliczenia?” Skupienie się na tej luce poprawia dokładność weryfikacji.