Częste błędy w analizie błędów
Czym jest analiza błędów i dlaczego ludzie ją źle wykonują?
Analiza błędów to ustrukturyzowany przegląd tego, co zrobiłeś, czego oczekiwałeś, co faktycznie się wydarzyło i co możesz zmienić następnym razem. Koncentruje się na decyzjach i procesach, a nie na próbie przewidywania przyszłości na podstawie przeszłości. Częste błędy pojawiają się, gdy część „analityczna” staje się niejasna, emocjonalna lub skoncentrowana wyłącznie na wyniku.
Częstym nieporozumieniem jest utożsamianie analizy błędów ze „znalezieniem przyczyny niepowodzenia” bez zdefiniowania decyzji i sposobu jej pomiaru. Innym błędem jest analizowanie wyników tak, jakby były gwarantowanymi konsekwencjami pojedynczego błędu. Rynki, wykonanie, opłaty i zmieniające się warunki oznaczają, że jeden wynik rzadko ma jedną przyczynę.
Częste błędy i ich wpływ na uczenie się
1) Mylenie błędu z wynikiem
Neutralna analiza błędów oddziela działanie (decyzję lub proces) od rezultatu (zysk lub strata, albo inny zaobserwowany wynik). Jeśli tylko oznaczysz wynik jako „zły”, a następnie dopasujesz do niego historię, możesz nie wyciągnąć żadnych praktycznych wniosków.
Neutralna weryfikacja: zapisz dokładny krok, który byś zmienił—a następnie sprawdź, czy ten krok był rzeczywiście czynnikiem sprawczym, biorąc pod uwagę twoje warunki i założenia.
2) Pomijanie założeń stojących za każdym przykładem
Gdy podajesz przykład—taki jak „gdyby spread był niższy, transakcja by się udała”—obliczenia zależą od założeń (koszty, czas, jakość wykonania i znaczenie słowa „udała”). Bez podanych założeń przykład nie może zostać zweryfikowany.
Neutralna weryfikacja: wypisz jawnie każde założenie, w tym to, co traktujesz jako stałe, a co jako zmienne.
3) Traktowanie stabilnej mechaniki tak, jakby była stabilnym wynikiem
Niektóre zależności mają charakter strukturalny (na przykład to, jak koszty zmniejszają zyski), ale przyszła ścieżka ceny jest zmienna. Analiza błędów zawodzi, gdy stabilna mechanika jest używana do argumentowania, że podobne przyszłe zdarzenia przyniosą podobne wyniki.
Neutralna weryfikacja: oddziel „mechanikę, którą możesz kontrolować” (jakość procesu, dokumentacja, konsekwencja) od „warunków, których nie możesz w pełni kontrolować” (ruch rynku, szczegóły wykonania, zdarzenia zewnętrzne).
4) Tryb awarii: błąd potwierdzenia podczas przeglądu
Przegląd może stać się sposobem na obronę wcześniejszego przekonania—poszukiwaniem wyłącznie wyjaśnień wspierających twoją tezę. Może to ukryć inne czynniki, takie jak timing, wielkość pozycji czy wpływ kosztów.
Czerwone flagi: przegląd znajduje tylko jedno wyjaśnienie; unika dowodów podważających tezę; nigdy nie aktualizuje modelu, nawet gdy dowody mu przeczą.
5) Traktowanie przeglądu jako jednorazowego „naprawienia”
Analiza błędów często zawodzi, gdy kończy się jedną proponowaną zmianą, bez sprawdzenia, czy zmiana ta dotyczy rzeczywistego trybu awarii. Jeśli twoja zmiana procesu nie jest powiązana ze zdefiniowanym błędem, możesz powtórzyć ten sam wzorzec w innych warunkach.
Kryterium gotowości: powinieneś być w stanie określić, co zrobisz inaczej następnym razem i jakie dowody pokażą, że zmiana działa.
Dowody i praktyczny przykład neutralnych weryfikacji (bez roszczeń o przewidywanie)
Rozważ przegląd, w którym decyzja doprowadziła do niekorzystnego wyniku netto po kosztach. Częstym błędem jest stwierdzenie „rynek ruszył się przeciwko mnie”, ignorując jednocześnie, czy proces pozwolił, aby wpływ kosztów był zbyt duży w stosunku do oczekiwanej przewagi.
Bardziej neutralne podejście:
- Zdefiniuj moment decyzji: na czym oparłeś decyzję i co zaplanowałeś.
- Zdefiniuj pomiar: co rozumiesz przez „niekorzystny” (netto po kosztach, względem benchmarku itp.).
- Wypisz założenia: szacunki kosztów, założenia dotyczące czasu i zakładaną jakość wykonania.
- Sprawdź konkurencyjne wyjaśnienia: czy problem mógł dotyczyć czasu, wielkości pozycji, wrażliwości na koszty lub niespójności z twoimi własnymi zasadami?
- Zapisz jedną możliwą do kontrolowania zmianę, która celuje w zdefiniowany tryb awarii.
To nie rości sobie prawa do przyszłej dokładności. Poprawia twoją zdolność do weryfikacji rozumowania, którego użyłeś.
Ograniczenia i ryzyka analizy błędów
Analiza błędów jest tak dobra, jak jej dane wejściowe i gotowość do bycia precyzyjnym. Może wprowadzać w błąd, gdy:
- traktujesz historyczny związek przyczynowo-skutkowy jako gwarancję na przyszłość;
- pomijasz koszty i założenia dotyczące wykonania w przykładach;
- mylisz emocjonalną pewność z dowodami;
- nie oddzielasz mechaniki od zmiennych warunków.
Wyniki różnią się również w zależności od warunków rynkowych, kosztów, wykonania i jurysdykcji, więc nawet staranne przeglądy nie mogą zagwarantować, że następny wynik będzie lepszy. Najlepsze, co możesz zrobić, to stworzyć proces przeglądu, który można sprawdzić i ulepszać.