Jak można mierzyć algorytmy wykonawcze?

Algorytmy wykonawcze: co mierzysz

Algorytmy wykonawcze to metody, które decydują o tym, jak zlecenia są dzielone na mniejsze działania oraz jak te działania są czasowane i kierowane. Aby zmierzyć je w sposób, który inni mogą zweryfikować, skup się na mierzalnych polach wykonania (co się wydarzyło) i mierzalnych polach czasowych (kiedy się wydarzyło). Następnie porównuj wyniki tylko przy jasno określonych założeniach, ponieważ warunki rynkowe i koszty wykonania mogą dominować nad wynikami.

Mechanizm i mierzalne pola

Praktycznym sposobem zdefiniowania pomiaru jest rozpoczęcie od „dziennika zdarzeń zlecenia” dla jednego zlecenia nadrzędnego.

1) Pola czasowe

• Czas złożenia zlecenia: kiedy zlecenie nadrzędne zostało złożone.
• Rozpoczęcie wykonania: kiedy ma miejsce pierwsza próba wykonania podrzędnego.
• Czas zakończenia: kiedy zlecenie nadrzędne jest w pełni zrealizowane lub zakończone.
• Okna kolejki/opóźnienia: czas, który upływa między wysłaniem zlecenia podrzędnego a otrzymaniem potwierdzenia lub realizacji (jeśli Twoje dane to rejestrują).

2) Pola jakości realizacji

• Wskaźnik realizacji: zrealizowana ilość podzielona przez zamierzoną ilość.
• Pozostała ilość: ilość niezrealizowana do czasu zakończenia.
• Rozkład realizacji: ile zostało zrealizowane w każdym przedziale czasowym.

3) Pola kosztów i wpływu na cenę Aby uniknąć niejednoznaczności, obliczaj koszty przy użyciu wybranej ceny referencyjnej i jasno zdefiniowanego wzoru. Typowe wybory referencyjne obejmują:

• Cena średnia na starcie (punkt środkowy między najlepszą ofertą kupna i sprzedaży, jeśli możesz go zaobserwować)
• Cena decyzyjna w momencie rozpoczęcia działania algorytmu
• Cena wejścia w pierwszym momencie wykonania

Następnie zmierz:

• Poślizg: różnica między średnią ceną wykonania a ceną referencyjną (kierunkowa).
• Implementation shortfall (koncepcyjnie): koszt w odniesieniu do referencji, który obejmuje zarówno ruch ceny, jak i niekompletność wykonania.

4) Pola ograniczeń i kontroli Jeśli algorytm ma parametry (na przykład cele udziału lub limity czasowe), traktuj je jako mierzalne dane wejściowe i weryfikuj, jak często algorytm spełniał te ograniczenia w każdym scenariuszu.

Dowody i przykładowe obliczenia (z wyraźnymi założeniami)

Załóżmy, że masz zlecenie nadrzędne na 100 jednostek.

• Zlecenie nadrzędne złożone o 10:00:00.
• Pierwsza próba wykonania podrzędnego o 10:00:05.
• Pełne zakończenie o 10:00:35.
• Średnia cena wykonania wszystkich realizacji wynosi 1.2000.
• Twoja cena referencyjna (cena średnia na starcie wykonania) wynosi 1.1980.

Proste, weryfikowalne obliczenie poślizgu to:

• Poślizg = Średnia cena wykonania − Cena referencyjna
• = 1.2000 − 1.1980 = 0.0020 (na jednostkę, w ujęciu cenowym)

Aby było to niezależne i powtarzalne, należy również podać:

• definicję referencji (cena średnia o 10:00:05)
• szczegółowość danych (ceny realizacji i znaczniki czasu)
• czy użyto średnich ważonych ilością

Jeśli zaobserwujesz również, że tylko 90 z 100 jednostek zostało zrealizowanych, raportujesz wskaźnik realizacji = 0.90 i traktujesz niekompletność jako osobny, istotny składnik, zamiast włączać ją wyłącznie do ceny.

Ograniczenia i tryby awarii (co zakłóca porównania)

Nawet przy starannych wskaźnikach porównania mogą być mylące, jeśli ignorują zmienność.

Istotne ograniczenia

• Warunki rynkowe dominują: płynność, spread i zmienność mogą się zmieniać podczas wykonania i wpływać na koszty.
• Koszty różnią się w zależności od scenariusza: opłaty, prowizje i wszelkie opłaty związane z wykonaniem mogą zmienić wskaźniki kosztów.
• Zależność od benchmarku: wartości poślizgu zmieniają się, gdy zmienisz definicję ceny referencyjnej.
• Zależności historyczne nie przesądzają o przyszłych wynikach: wyniki z przeszłości w jednym reżimie mogą nie mieć zastosowania w innym.

Tryby awarii do zmierzenia lub obserwacji

• Częściowe realizacje: algorytm kończy z pozostałą ilością.
• Opóźnienia w kolejce i wrażliwość na opóźnienia: czas wykonania może się pogorszyć w okresach większego zatłoczenia.
• Nadmierny lub niedostateczny handel w stosunku do zamierzonego tempa: rzeczywista stopa zleceń podrzędnych może odbiegać od celów.
• Zachowanie przy zatrzymaniu/zakończeniu: powtarzające się anulowania lub wcześniejsze wyjścia mogą zniekształcić porównania kosztów i czasu zakończenia.

Weryfikacja i kolejne pytanie

Aby zweryfikować twierdzenia dotyczące algorytmu wykonawczego, potrzebujesz trzech rzeczy, które można niezależnie sprawdzić: (1) zmierzonych pól i wzorów, (2) użytych znaczników czasu i okien czasowych oraz (3) założeń dotyczących cen referencyjnych i dostępności danych. Jeśli dwie strony obliczają „ten sam” wskaźnik, ale wybierają różne ceny referencyjne lub okna próbkowania, ich wyniki mogą się zasadnie różnić.

Przydatne kolejne pytanie brzmi: jakie dane faktycznie posiadasz na temat ceny referencyjnej (cena średnia, cena wejścia lub inny wskaźnik zastępczy) oraz opóźnień/potwierdzeń? Po uzyskaniu odpowiedzi możesz dostosować definicje pomiaru przed porównaniem algorytmów lub dostawców.