Jak można zweryfikować informacje o filtrowaniu zdarzeń?
Bezpośrednia odpowiedź
Informacje o filtrowaniu zdarzeń można zweryfikować poprzez (1) zdefiniowanie koncepcji w stabilny, testowalny sposób, (2) zbudowanie hierarchii źródeł od dokumentacji do rekordów pierwotnych oraz (3) przeprowadzanie odtwarzalnych kontroli przy użyciu tych samych danych wejściowych, reguł i założeń czasowych. Ponieważ dostawcy i rynki mogą się zmieniać, weryfikacja powinna skupiać się na mechanice i możliwości prześledzenia pochodzenia danych, a nie na przewidywanych wynikach.
Filtrowanie zdarzeń: definicja i znaczenie „weryfikacji”
Filtrowanie zdarzeń to proces wybierania, wykluczania lub priorytetyzowania istotnych dla rynku zdarzeń w oparciu o reguły zastosowane do danych o zdarzeniach. Kluczową ideą jest to, że zachowanie filtra zależy od danych wejściowych (które zdarzenia istnieją), reguł wyboru (jak zdarzenia są klasyfikowane lub punktowane) oraz formatowania wyników (co zwraca filtr).
Weryfikacja oznacza, że możesz niezależnie potwierdzić, że określony zestaw reguł daje określone wyniki przy użyciu tych samych danych wejściowych i założeń. Nie oznacza to, że możesz potwierdzić, iż filtr będzie „działał” dla przyszłych zysków, ponieważ wyniki rynkowe zależą od wielu czynników.
Hierarchia źródeł, której możesz użyć
Użyj hierarchii, aby odróżnić stabilną mechanikę od zmiennych szczegółów implementacji:
- Oficjalne specyfikacje i dokumentacja systemu wykonującego filtrowanie. Opisują one definicje, pola, kategorie i zachowanie aktualizacji.
- Rekordy danych pierwotnych: strumień zdarzeń lub wpisy kalendarza używane jako dane wejściowe. Pozwala to sprawdzić, czy filtr widział zdarzenia, którymi według deklaracji się zajmuje.
- Dzienniki zmian i notatki wersyjne dostawcy lub platformy. Pomagają one zweryfikować, które reguły obowiązywały w momencie generowania wyniku.
- Odtwarzalne przykłady: udokumentowane przypadki testowe, przykładowe zbiory danych lub demonstracje w stylu testów jednostkowych.
Gdy twierdzenia opierają się na bieżącym zachowaniu (na przykład na tym, jak filtrowanie jest obecnie zaimplementowane), weryfikacja musi wykorzystywać aktualne źródło pierwotne; starsze opisy mogą już nie odpowiadać rzeczywistości.
Odtwarzalne kroki weryfikacji (najpierw mechanika)
Za każdym razem używaj tej samej struktury, aby wyniki były porównywalne.
1) Zapisz założenia
Zapisz założenia wpływające na filtrowanie: obsługę stref czasowych, czas zdarzenia a czas publikacji, mapowanie walut/regionów oraz które typy zdarzeń są uważane za „o wysokim wpływie”. Jeśli pokazano obliczenie lub przykład, powtórz je z tymi samymi jednostkami i progami.
2) Zidentyfikuj zestaw reguł
Na podstawie dokumentacji wyodrębnij reguły filtrowania w prostym języku. Na przykład: które pola zdarzeń są używane, jak obsługiwane są duplikaty, czy wymagane są dane „prognoza vs. poprzednia wartość” oraz co się dzieje, gdy brakuje wartości.
3) Wybierz stałe okno wejściowe
Wybierz konkretny zakres dat i okno czasowe, w którym możesz uchwycić rekordy zdarzeń wejściowych dokładnie tak, jak były w danym momencie. Weryfikacja nie powinna zależeć od zmieniających się zbiorów danych.
4) Zastosuj reguły samodzielnie
Używając wyodrębnionego zestawu reguł, zastosuj logikę filtra do przechwyconej listy zdarzeń. Wygeneruj ten sam typ wyniku, który opisuje dostawca (wybrane zdarzenia, wykluczone zdarzenia, kolejność lub adnotacje).
5) Porównaj wyniki i zarejestruj różnice
Porównaj swoje przefiltrowane wyniki z wynikami dostawcy dla tego samego okna i założeń. Jeśli występują różnice, sklasyfikuj je: brakujące zdarzenia, niedopasowane identyfikatory, przesunięcia stref czasowych, mapowanie kategorii lub czas aktualizacji.
6) Powtórz z przypadkami brzegowymi
Przeprowadź co najmniej jeden test ukierunkowany na ograniczenia: zdarzenia z niekompletnymi danymi, zdarzenia przekraczające granice czasowe oraz zdarzenia ponownie publikowane lub korygowane w źródle.
Jeśli podejście dostawcy deklaruje obsługę korekt, zweryfikuj je, porównując wyniki przed i po udokumentowanej aktualizacji.
Dowód lub przykład, który możesz zweryfikować bez twierdzeń „predykcyjnych”
Bezpiecznym sposobem weryfikacji mechaniki jest skupienie się na determinizmie: przy stałej liście wejściowej i stałym zestawie reguł wybór wyników powinien być odtwarzalny. Na przykład, jeśli reguła mówi „wyklucz zdarzenia z tagami o niskim wpływie”, weryfikacja polega na sprawdzeniu, czy tagi są obecne w rekordach wejściowych i czy wykluczenie obejmuje każdy kwalifikujący się wpis.
Jeśli system raportuje poziomy „wpływu” lub klasyfikacje, zweryfikuj te klasyfikacje względem pól wejściowych określonych w dokumentacji. Nie traktuj żadnej etykiety wpływu jako sygnału handlowego; traktuj ją jako atrybut wejściowy używany przez filtr.
Ograniczenia i tryby awarii, których należy się spodziewać
Filtrowanie zdarzeń może zawieść w istotny sposób, co nie odzwierciedla „błędnego handlu”, ale rzeczywistość danych i implementacji:
- Brakujące lub niekompletne zdarzenia w danych wejściowych, co zmienia to, co filtr może wybrać.