Jak można zweryfikować informacje dotyczące porównania wykonania (Execution Comparison)?

Czym jest Porównanie Wykonania (Execution Comparison), w prostych słowach

Porównanie wykonania (Execution Comparison) to proces zestawienia obok siebie dwóch (lub więcej) podejść do wykonania lub dostawców i oceny, czym różnią się wyniki realizacji zleceń. „Wykonanie” zwykle odnosi się do tego, co dzieje się od momentu wprowadzenia zlecenia do końcowego wyniku realizacji, w tym czasu i cen, po których następuje realizacja. „Porównanie” oznacza, że oceniający stosuje te same ramy oceny do każdej opcji, tak aby różnice można było przypisać podejściu do wykonania, a nie niedopasowanym danym wejściowym.

Ponieważ wyniki wykonania zależą od rzeczywistych warunków i szczegółów implementacji, weryfikacja informacji dotyczących porównania wykonania oznacza potwierdzenie trzech rzeczy: (1) definicji i metryk, (2) danych wejściowych i założeń użytych do obliczenia tych metryk oraz (3) granic, w których porównanie nie jest ważne.

Hierarchia źródeł w celu weryfikacji twierdzeń

Użyj hierarchii źródeł, która odróżnia stabilne mechanizmy od zmiennych, specyficznych dla danego podmiotu szczegółów:

1. Podstawowe, stabilne definicje (źródła ogólne): zweryfikuj, że używane terminy — takie jak cena realizacji, poślizg (slippage), opóźnienie wykonania czy zrealizowany koszt — są zdefiniowane spójnie ze sposobem, w jaki są faktycznie mierzone. Jest to zwykle stabilna wiedza edukacyjna.

2. Dokumentacja operacyjna (specyficzna dla podmiotu, ale możliwa do sprawdzenia): gdy porównanie zależy od tego, jak zlecenia są kierowane, dopasowywane, kompensowane lub rejestrowane, potrzebujesz odpowiedniej dokumentacji operacyjnej lub technicznej od platformy lub dostawcy. Weryfikacja tutaj koncentruje się na tym, co zostało zmierzone, jak generowane są znaczniki czasu oraz które etapy wykonania są uwzględnione.

3. Ujawnienia metodologiczne (dowody autora porównania): sprawdź, czy porównanie określa okno oceny, typy i ustawienia zleceń, metodę próbkowania (jeśli dotyczy) oraz zasady obliczania każdej metryki.

4. Niezależne kontrole krzyżowe: jeśli wnioski z porównania są ważne, poszukaj potwierdzenia z więcej niż jednej perspektywy (na przykład różnych zbiorów danych, różnych okresów testowych lub różnych implementacji obliczeń). Sprawdzasz, czy te same warunkowe wzorce pojawiają się przy tych samych podanych założeniach.

Powtarzalne kroki weryfikacji (bez potrzeby danych na żywo)

Przydatnym sposobem weryfikacji informacji dotyczących porównania wykonania jest zbudowanie „pakietu weryfikacyjnego” i próba odtworzenia obliczeń przy użyciu podanych zasad porównania.

1. Wyodrębnij metryki i definicje: wypisz każdą metrykę używaną przez autora (na przykład średnia różnica w cenie realizacji, rozkład poślizgu lub zrealizowany spread). Zapisz dokładną definicję i jednostkę.

2. Zanotuj założenia i uwzględnione koszty: sprawdź, czy autor uwzględnia lub wyklucza koszty transakcyjne, opłaty lub inne opłaty związane z wykonaniem. Jeśli pokazano przykład, potwierdź, że jawnie podano w nim założenia.

3. Ustal okno czasowe wykonania i zasady dotyczące czasu: porównania często zawodzą, gdy jedna strona mierzy od momentu złożenia zlecenia, a druga od momentu otrzymania kwotowania lub z innego źródła znacznika czasu. Upewnij się, że obie opcje używają tych samych granic czasowych.

4. Zweryfikuj porównywalność danych wejściowych transakcji: potwierdź, że obie opcje są testowane w równoważnych warunkach: tym samym kierunku zlecenia, wielkości zlecenia, typie zlecenia i ograniczeniach wykonania, zgodnie z opisem autora.

5. Przelicz obliczenia, używając formuł autora: jeśli surowe zapisy realizacji nie są dostarczone, nadal możesz zweryfikować arytmetykę, używając wszelkich przedstawionych wartości pośrednich. Podaj wszelkie dodatkowe założenia, które musisz dodać, a następnie sprawdź, czy zmiany tych założeń istotnie zmieniają wynik.

6. Sprawdź brakujące dane i efekty selekcji: sprawdź, czy porównanie obejmuje tylko zrealizowane transakcje, tylko określone reżimy rynkowe lub czy wyklucza wartości odstające w sposób, który zmienia znaczenie metryk.

Ograniczenia i typowe sposoby błędów

Porównanie wykonania jest często źle rozumiane, ponieważ różnice mogą odzwierciedlać wybory pomiarowe, a nie jakość wykonania. Istotne ograniczenia obejmują:

• Wyniki warunkowe rynkowo: wyniki zmieniają się wraz ze zmiennością, płynnością i warunkami spreadowymi. Historyczne zależności nie gwarantują przyszłych zachowań.
• Niedopasowanie metryk: dwa raporty mogą używać tej samej etykiety (na przykład „poślizg”), ale definiować ją inaczej (wybór ceny referencyjnej, znacznik czasu lub konwencja znaku).
• Nieporównywalny czas: niespójne źródła znaczników czasu lub definicje etapów wykonania mogą sprawić, że jedna opcja będzie wyglądać lepiej tylko ze względu na sposób rejestrowania zdarzeń.
• Traktowanie kosztów i opłat: wykluczenie kosztów może wyolbrzymiać pozorne różnice; uwzględnienie kosztów bez jasności może ukrywać to, co powoduje różnicę.
• Zakres danych: brakujące realizacje, częściowe wykonania lub zasady przeżywalności/selekcji mogą zniekształcać porównania.

Traktuj każdy pojedynczy wniosek z porównania jako warunkowy w stosunku do opisanej metodologii. Weryfikacja powinna koncentrować się na tym, czy metodologia jest wewnętrznie spójna i czy określa warunki, w których porównanie ma lub nie ma zastosowania.