Ryzyka związane z porównywaniem jakości wykonania

Bezpośrednia odpowiedź: główne ryzyka

Porównywanie wykonania to analiza różnic w wynikach realizacji zleceń między dwoma konfiguracjami (na przykład dwoma dostawcami lub dwiema metodami wykonania) na podstawie zaobserwowanego lub zarejestrowanego przetwarzania zleceń i uzyskanych cen. Kluczowe ryzyka są następujące: (1) porównanie może opierać się na danych nieporównywalnych, (2) warunki rynkowe i koszty mogą dominować nad wynikiem, (3) zachowanie kontrahenta lub infrastruktury może różnić się w sposób niewidoczny dla obserwatora, oraz (4) interpretacja może przeceniać związek przyczynowy wynikający z korelacji.

Co oznacza porównywanie wykonania (mechanika)

Aby uczciwie porównać wykonanie, potrzebna jest spójna definicja tego, co jest mierzone i w jaki sposób dane są wyrównywane między dwiema opcjami. Typowe dane wejściowe obejmują znaczniki czasu (kiedy zlecenie zostało wysłane, a kiedy nastąpiło wykonanie), instrukcje zlecenia (wielkość, typ zlecenia, ważność), wykorzystywany punkt odniesienia ceny (migawka bid/ask, ostatnia cena transakcyjna lub benchmark) oraz uwzględnione koszty (spread, prowizje i wszelkie dodatkowe opłaty związane z wykonaniem).

Porównywanie wykonania zazwyczaj szacuje zrealizowane wyniki, takie jak:

• Poprawa ceny lub poślizg względem ceny odniesienia w określonym momencie.
• Jakość wykonania (czy zlecenie zostało zrealizowane bliżej zamierzonej ceny, czy też uzyskało gorsze niż oczekiwano wyniki).
• Różnice czasowe (jak szybko następuje realizacja po złożeniu zlecenia).

Istotnym ograniczeniem jest to, że „wynik wykonania” to nie tylko ostateczna cena realizacji; odzwierciedla on również routing, kolejkowanie oraz sposób, w jaki kwotowania i płynność ewoluowały w trakcie życia zlecenia.

Dowody lub przykład: gdzie pojawiają się ryzyka

Załóżmy, że dwie opcje, A i B, są oceniane przy użyciu tych samych wielkości zleceń i tego samego zamierzonego okna czasowego. Nawet przy identycznych instrukcjach mogą pojawić się różnice, ponieważ:

• Mikrostruktura rynku zmienia się w trakcie okna oceny: jeśli jedno zlecenie zostanie złożone podczas krótkiej luki płynnościowej, jego zrealizowany poślizg może być gorszy niezależnie od jakości wykonania.
• Sposób ujmowania kosztów jest różny: spready mogą wyglądać podobnie w podsumowaniu, ale prowizje, składniki finansowania lub opłaty związane z wykonaniem mogą zmienić rzeczywisty wynik netto.
• Wyrównanie czasowe jest niedoskonałe: jeśli realizacje są dopasowywane przy użyciu różnych znaczników czasu lub jeśli jedna strona rejestruje czasy z różną rozdzielczością, można przypisać efekt opóźnienia „jakości wykonania”, podczas gdy w rzeczywistości jest to artefakt pomiarowy.

Typowym błędem jest porównanie „jabłek do pomarańczy”: użycie jednej ceny odniesienia dla A i innej ceny odniesienia dla B (lub użycie różnych migawek). Innym błędem jest mieszanie danych rzeczywistych i symulowanych, gdzie symulowane realizacje nie mogą wiarygodnie odtworzyć wszystkich rzeczywistych zachowań płynności i kolejki.

Ograniczenia i ryzyka (co może pójść nie tak)

Ryzyka operacyjne i pomiarowe

• Błędy wyrównania danych: niedopasowane identyfikatory zleceń, niekompletne dzienniki zdarzeń lub niespójna precyzja znaczników czasu mogą zniekształcić obliczenia czasu i poślizgu.
• Niepełne uwzględnienie kosztów: porównywanie cen brutto realizacji przy ignorowaniu wszystkich istotnych opłat może fałszywie przedstawiać wyniki netto.
• Nierówne instrukcje wykonania: subtelne różnice w zachowaniu typów zleceń (na przykład sposób traktowania częściowych realizacji) mogą tworzyć mylące średnie wyniki.

Ryzyka rynkowe

• Reżimy zmienności i płynności: jakość wykonania może różnić się w okresach spokojnych i stresowych; przeszłe okno czasowe może nie odzwierciedlać przyszłych warunków.
• Benchmarki mogą być mylące: ceny odniesienia mogą nie odzwierciedlać tego, co było realistycznie dostępne w momencie decyzji.
• Problem „efektu dominującego”: gdy spready się poszerzają, rynek może przytłoczyć wszelkie różnice między dostawcami.

Ryzyka kontrahenta i infrastruktury

• Ukryte różnice w routingu: jedna konfiguracja może mieć inny dostęp do płynności, co prowadzi do wyników, których nie można wyjaśnić na podstawie danych powierzchniowych.
• Efekty behawioralne: częstotliwość aktualizacji kwotowań, dynamika kolejki zleceń lub priorytetyzacja realizacji mogą się różnić i wpływać na zrealizowane wyniki.
• Różnice jurysdykcyjne i dotyczące miejsc obrotu: rozliczenia, godziny handlu i dostępność miejsc obrotu mogą pośrednio wpływać na obserwację wykonania.

Ryzyka interpretacyjne

• Mylenie przyczynowości: nawet jeśli B zwykle ma lepszy poślizg w jednym zbiorze danych, zaobserwowana różnica może wynikać z czasu, kosztów lub płynności, a nie z mechaniki wykonania.
• Błąd przetrwania i błąd selekcji: porównywanie wyłącznie udanych lub „typowych” okresów może przeceniać spójność wyników.

Weryfikacja i kolejne pytanie

Niezależna weryfikacja oznacza sprawdzenie, czy porównanie jest powtarzalne przy tych samych założeniach: tych samych instrukcjach zleceń, tej samej definicji ceny odniesienia, pełnym uwzględnieniu kosztów i spójnym wyrównaniu znaczników czasu. Praktycznym kolejnym pytaniem jest: „Czy dane wejściowe i definicje pomiaru są naprawdę identyczne dla obu opcji, i czy porównania izolują czas, cenę i koszt w sposób, który pozostaje ważny w różnych reżimach rynkowych?”