Co to jest analiza błędów i dlaczego ludzie robią ją źle?
Analiza błędów to uporządkowany przegląd tego, co zrobiłeś, czego się spodziewałeś, co faktycznie się wydarzyło i co możesz zmienić następnym razem. Koncentruje się na decyzjach i procesach, a nie na próbie przewidywania przyszłości na podstawie przeszłości. Częste błędy pojawiają się wtedy, gdy część „analizująca” staje się niejasna, emocjonalna albo oparta wyłącznie na wyniku.
Częstym nieporozumieniem jest utożsamianie analizy błędów z „znalezieniem powodu, dla którego poszło źle”, bez zdefiniowania decyzji i pomiaru. Innym błędem jest analizowanie wyników tak, jakby były gwarantowanymi konsekwencjami pojedynczego błędu. Rynki, realizacja, prowizje i zmieniające się warunki sprawiają, że jeden wynik rzadko ma jedną przyczynę.
Częste błędy i jak wpływają na naukę
1) Mieszanie błędu z wynikiem
Neutralna analiza błędu oddziela działanie (decyzję lub proces) od rezultatu (zysk lub strata, albo inny zaobserwowany wynik). Jeśli oznaczysz wyłącznie wynik jako „zły”, a potem dopasujesz do niego historię, możesz nie nauczyć się niczego, co da się zastosować.
Neutral check: zapisz dokładny krok, który zmieniłbyś — a następnie sprawdź, czy ten krok był rzeczywiście czynnikiem przyczynowym, biorąc pod uwagę twoje warunki i założenia.
2) Pomijanie założeń stojących za każdym przykładem
Gdy pokazujesz przykład — na przykład „gdyby spread był niższy, transakcja by zadziałała” — obliczenia zależą od założeń (kosztów, czasu, jakości realizacji i tego, co oznacza „zadziałało”). Bez podanych założeń przykładu nie da się zweryfikować.
Neutral check: wypisz wszystkie założenia wprost, w tym to, co traktujesz jako stałe, a co jako zmienne.
3) Traktowanie stabilnej mechaniki tak, jakby była stabilnym wynikiem
Niektóre zależności są strukturalne (na przykład to, jak koszty obniżają zwroty), ale przyszła ścieżka ceny jest zmienna. Analiza błędów idzie w złą stronę, gdy stabilna mechanika jest używana do argumentowania, że podobne przyszłe zdarzenia dadzą podobne wyniki.
Neutral check: oddziel „mechanikę, którą możesz kontrolować” (jakość procesu, dokumentacja, konsekwencja) od „warunków, których nie możesz w pełni kontrolować” (ruch rynku, szczegóły realizacji, zdarzenia zewnętrzne).
4) Tryb porażki: błąd potwierdzenia podczas przeglądu
Przegląd może stać się sposobem na ochronę wcześniejszego przekonania — polega na szukaniu wyjaśnień, które wspierają twoją tezę. Może to ukryć inne czynniki, takie jak timing, wielkość pozycji albo wpływ kosztów.
Red flags (rode vlaggen): przegląd znajduje tylko jedno wyjaśnienie; unika dowodów, które mogłyby je obalić; nigdy nie aktualizuje modelu, nawet gdy dowody przeczą.
5) Używanie przeglądu jako jednego kroku „naprawy”
Analiza błędów często nie działa, gdy kończy się jedną proponowaną zmianą, bez sprawdzenia, czy ta zmiana dotyczy faktycznego trybu porażki. Jeśli zmiana w procesie nie jest powiązana z zdefiniowanym błędem, możesz powtarzać ten sam schemat w różnych warunkach.
Klaarcriterium (ready criterion): powinieneś umieć powiedzieć, co zrobisz inaczej następnym razem oraz jakie dowody pokażą, że zmiana działa.
Dowody i przepracowany przykład neutralnych sprawdzeń (bez twierdzenia o prognozowaniu)
Rozważ przegląd, w którym decyzja doprowadziła do niekorzystnego wyniku netto po kosztach. Częsty błąd to wniosek „rynek poszedł przeciwko mnie”, przy jednoczesnym ignorowaniu tego, czy proces pozwolił, by wpływ kosztów był zbyt duży w stosunku do oczekiwanej przewagi.
Bardziej neutralne podejście:
- Zdefiniuj moment decyzji: na czym oparłeś decyzję i co planowałeś.
- Zdefiniuj pomiar: co rozumiesz przez „niekorzystny” (netto po kosztach, w odniesieniu do benchmarku itd.).
- Wypisz założenia: szacunki kosztów, założenia dotyczące czasu oraz to, jaką zakładasz jakość realizacji.
- Sprawdź konkurencyjne wyjaśnienia: czy problem mógł wynikać z timing’u, wielkości pozycji, wrażliwości na koszty albo niespójności z twoimi własnymi zasadami?
- Zapisz jedną zmianę, którą możesz kontrolować, ukierunkowaną na zdefiniowany tryb porażki.
To nie jest twierdzenie o przyszłej trafności. Zwiększa twoją zdolność do weryfikowania rozumowania, którego użyłeś.
Ograniczenia i ryzyka analizy błędów
Analiza błędów jest tak dobra, jak jej dane wejściowe i jej gotowość do bycia precyzyjną. Może wprowadzać w błąd, gdy:
- traktujesz historyczną przyczynowość jako gwarancję na przyszłość;
- pomijasz koszty i założenia dotyczące realizacji w przykładach;
- mylisz emocjonalną pewność z dowodami;
- nie potrafisz oddzielić mechaniki od zmiennych warunków.
Wyniki również różnią się w zależności od warunków rynkowych, kosztów, realizacji i jurysdykcji, więc nawet staranne przeglądy nie mogą zagwarantować, że następny wynik będzie lepszy. Najlepsze, co możesz zrobić, to stworzyć proces przeglądu, który da się sprawdzać i ulepszać.
DOCUMENT END