Co oznacza analiza błędów
Analiza błędów to uporządkowany sposób, aby przeanalizować podjętą w przeszłości decyzję i zrozumieć, co poszło nie tak oraz dlaczego, z celem poprawy przyszłych decyzji. W praktyce zwykle obejmuje: (1) opisanie sytuacji, (2) wskazanie tego, co zostało zrobione, (3) określenie oczekiwanego wyniku w tamtym momencie oraz (4) porównanie tych oczekiwań z tym, co faktycznie się wydarzyło.
Ponieważ jest to analiza retrospektywna, metoda nie może bezpośrednio obserwować wszystkich ukrytych zmiennych. Opiera się na danych wejściowych, które zbierasz (na przykład na rozumowaniu, które zapisałeś, na czasie, w którym działałeś, oraz na warunkach, jakie napotkał Twój system). Ta zależność od danych wejściowych stanowi pierwsze istotne ograniczenie.
Jak to działa w praktyce
Typowy proces traktuje decyzję jako zestaw założeń. Odtwarzasz warunki tak, jak je rozumiałeś, a następnie oceniasz, czy wynik był niespójny z tymi założeniami.
Dwie części mają znaczenie dla dokładności:
-
Stabilna mechanika vs. zmienne warunki Niektóre elementy są stosunkowo stałe — na przykład to, czy przestrzegałeś reguły, czy Twoje rozumowanie było wewnętrznie spójne, albo czy oceniłeś informacje przed działaniem. Inne elementy się zmieniają — na przykład płynność rynkowa, zmienność, jakość wykonania, spready oraz wszelkie ograniczenia proceduralne w środowisku, w którym zrealizowano transakcję.
-
Założenia stojące za każdym obliczeniem Jeśli porównujesz „oczekiwane” z „rzeczywistym”, to w sposób dorozumiany zakładasz coś na temat tego, co byś uzyskał w tych samych warunkach. Gdy to założenie jest błędne lub niepełne, analiza może wskazać niewłaściwą przyczynę.
Nawet bez jakichkolwiek danych w czasie rzeczywistym analiza może nadal być użyteczna do zrozumienia podejmowania decyzji. Ograniczenie polega na tym, że może nie wyjaśniać wyników na tyle dobrze, by przewidywać lub zapobiegać podobnym niepowodzeniom.
Dowody i przykład: dlaczego wyniki mogą wprowadzać w błąd
Rozważ uproszczony scenariusz: decyzja została wykonana słabo. Analiza błędów może dojść do wniosku, że problemem było „złe osądzanie w tamtym momencie”. Ale słaby wynik może też wynikać z warunków, które nie były częścią pierwotnego rozumowania, takich jak poślizg w wykonaniu (execution slippage) albo inne koszty transakcyjne niż te, które modelowałeś.
To tworzy typowy tryb awarii: błąd atrybucji. Analiza przypisuje jedną przyczynę pasującą do wyniku, mimo że mogło mieć na niego wpływ wiele czynników. Gdy nie możesz rozdzielić przyczyn (bo brakujące dane nie są do odzyskania), wniosek „co robić następnym razem” staje się niepewny.
Drugim trybem awarii jest błąd doboru próby (selection bias). Jeśli analizujesz tylko decyzje, które poszły źle, możesz przecenić, jak często ten sam „błąd” powoduje straty. Jeśli analizujesz tylko te przypadki, które łatwo odtworzyć, możesz pominąć pełny zakres kontekstów decyzyjnych.
Ograniczenia i ryzyka
1) Niepewność co do prawdziwej przyczyny
Analiza błędów może wyjaśnić, co się wydarzyło, ale może nie udowodnić, dlaczego to się wydarzyło. Ukryte czynniki mogą obejmować różnice w wykonaniu, efekty związane z czasem (timing) lub ograniczenia w dostępnych w danym momencie informacjach. W rezultacie metoda może generować wiarygodnie brzmiące wyjaśnienia, które nie są weryfikowalne.
2) Wyniki historyczne nie ustanawiają przyszłych relacji
Nawet jeśli znajdziesz wzorzec — na przykład „decyzje podejmowane w warunkach X wypadały gorzej” — nie ma gwarancji, że ta relacja będzie się utrzymywać. Warunki rynkowe, zachowania uczestników i koszty mogą się zmieniać. Dlatego wcześniejszy związek między stylem podejmowania decyzji a wynikami może nie utrzymać się później.
3) Warunki i koszty mogą zmienić znaczenie tej samej decyzji
Dwie decyzje, które wyglądają identycznie w rozumowaniu, mogą prowadzić do różnych wyników, jeśli różni się otaczające środowisko. Koszty transakcyjne, jakość wykonania i zasady operacyjne mogą sprawić, że ten sam „błąd” będzie wyglądał na bardziej lub mniej szkodliwy. Jeśli Twoja analiza nie uwzględnia tych różnic, może wyolbrzymiać wnioski.
4) Dopasowanie do jednej narracji (overfitting)
Analiza błędów może stać się próbą dopasowania jednej historii do złożonych wyników. Może to prowadzić do wąskich lekcji, które nie uogólniają się. Gdy nie możesz przetestować konkurencyjnych wyjaśnień, możesz pomylić wygodne wyjaśnienie z tym właściwym.
Weryfikacja i kolejne pytania
Aby zweryfikować analizę błędów, traktuj jej wnioski jako hipotezy, a nie fakty. Praktyczna weryfikacja polega na sprawdzeniu, czy wyjaśnienie pozostaje spójne w podobnych przypadkach, przy użyciu tych samych założeń dotyczących warunków i danych wejściowych.
Jeśli chcesz być bardziej niezależny i dokładny, doprecyzuj te pytania:
- Jakie informacje były faktycznie dostępne w momencie podjęcia decyzji? - Które części środowiska się zmieniały i czy te zmiany zostały odnotowane?
DOCUMENT END