Jakie są ograniczenia analizy błędów?
Co oznacza analiza błędów
Analiza błędów to ustrukturyzowany sposób badania przeszłej decyzji w celu zrozumienia, co poszło nie tak i dlaczego, z celem poprawy przyszłych decyzji. W praktyce zwykle obejmuje: (1) opisanie sytuacji, (2) zidentyfikowanie tego, co zostało zrobione, (3) określenie oczekiwanego wyniku w danym momencie oraz (4) porównanie tego oczekiwania z tym, co faktycznie się wydarzyło.
Ponieważ jest to metoda retrospektywna, nie może bezpośrednio obserwować wszystkich ukrytych zmiennych. Opiera się na danych wejściowych, które zbierasz (na przykład na zapisanym rozumowaniu, czasie działania i warunkach, jakich doświadczył Twój system). To uzależnienie od danych wejściowych tworzy pierwsze główne ograniczenie.
Jak to działa w praktyce
Typowy proces traktuje decyzję jako zestaw założeń. Rekonstruujesz warunki tak, jak je rozumiałeś, a następnie oceniasz, czy wynik był niespójny z tymi założeniami.
Dwie części mają znaczenie dla dokładności:
-
Stabilna mechanika a zmienne warunki Niektóre elementy są stosunkowo stabilne—takie jak to, czy przestrzegałeś reguły, czy Twoje rozumowanie było wewnętrznie spójne, czy oceniłeś informacje przed działaniem. Inne elementy są zmienne—takie jak płynność rynku, zmienność, jakość wykonania, spready oraz wszelkie ograniczenia proceduralne w środowisku, w którym transakcja została wykonana.
-
Założenia stojące za każdą kalkulacją Jeśli porównujesz „oczekiwane” z „rzeczywistym”, domyślnie zakładasz coś o tym, co uzyskałbyś w tych samych warunkach. Gdy to założenie jest błędne lub niekompletne, analiza może obwinić niewłaściwą przyczynę.
Nawet bez danych w czasie rzeczywistym analiza może być nadal przydatna do zrozumienia podejmowania decyzji. Ograniczenie polega na tym, że może nie wyjaśniać wyników wystarczająco dobrze, aby przewidzieć lub zapobiec podobnym niepowodzeniom.
Dowody i przykład: dlaczego wyniki mogą wprowadzać w błąd
Rozważ uproszczony scenariusz: decyzja wypadła słabo. Analiza błędów może stwierdzić, że problemem był „zły osąd w danym momencie”. Ale słaby wynik może również wynikać z warunków, które nie były częścią pierwotnego rozumowania, takich jak poślizg wykonawczy lub inne koszty transakcyjne niż te, które modelowałeś.
Tworzy to częsty tryb awarii: błąd atrybucji. Analiza przypisuje pojedynczą przyczynę, która pasuje do wyniku, nawet jeśli wiele czynników mogło się do niego przyczynić. Gdy nie możesz oddzielić przyczyn (ponieważ brakujące dane są nie do odzyskania), wniosek „co zrobić następnym razem” staje się niepewny.
Drugim trybem awarii jest błąd selekcji. Jeśli analizujesz tylko decyzje, które poszły źle, możesz przeszacować, jak często ten sam „błąd” powoduje straty. Jeśli analizujesz tylko te, które możesz łatwo zrekonstruować, możesz pominąć pełny zakres kontekstów decyzyjnych.
Ograniczenia i ryzyka
1) Niepewność co do prawdziwej przyczyny
Analiza błędów może wyjaśnić, co się wydarzyło, ale może nie udowodnić, dlaczego się wydarzyło. Ukryte czynniki mogą obejmować różnice w wykonaniu, efekty czasowe lub ograniczenia informacji dostępnych Ci w danym momencie. W rezultacie metoda może tworzyć prawdopodobne wyjaśnienia, które nie są weryfikowalne.
2) Wyniki historyczne nie ustanawiają przyszłych zależności
Nawet jeśli znajdziesz wzorzec—taki jak „decyzje podjęte w warunkach X wypadły gorzej”—zależność nie jest gwarantowana, że się utrzyma. Warunki rynkowe, zachowanie uczestników i koszty mogą się zmienić. Dlatego przeszły związek między stylem decyzyjnym a wynikami może nie obowiązywać później.
3) Warunki i koszty mogą zmienić znaczenie tej samej decyzji
Dwie decyzje, które wyglądają identycznie pod względem rozumowania, mogą prowadzić do różnych wyników, jeśli otaczające środowisko się różni. Koszty transakcyjne, jakość wykonania i zasady operacyjne mogą sprawić, że ten sam „błąd” będzie wyglądał na mniej lub bardziej szkodliwy. Jeśli Twoja analiza nie uwzględnia tych różnic, może wyolbrzymiać wnioski.
4) Dopasowanie do jednej narracji
Analiza błędów może stać się próbą dopasowania jednej historii do złożonych wyników. Może to prowadzić do wąskich wniosków, które się nie uogólniają. Gdy nie możesz przetestować konkurencyjnych wyjaśnień, możesz pomylić wygodne wyjaśnienie z poprawnym.
Weryfikacja i kolejne pytania
Aby zweryfikować analizę błędów, traktuj jej wnioski jako hipotezy, a nie fakty. Praktycznym sprawdzeniem jest zadanie pytania, czy wyjaśnienie pozostaje spójne w podobnych przypadkach, przy użyciu tych samych założeń dotyczących warunków i danych wejściowych.
Jeśli chcesz być bardziej niezależny i dokładny, wyjaśnij te pytania:
- Jakie informacje były faktycznie dostępne w momencie podejmowania decyzji? - Które części środowiska się zmieniały i czy te zmiany zostały odnotowane?