Bezpośrednia odpowiedź
Informacje o nadmiernej pewności siebie można zweryfikować poprzez (1) użycie spójnej definicji, (2) sprawdzenie, czy deklarowana pewność ludzi zgadza się z późniejszymi wynikami, oraz (3) udokumentowanie założeń i ograniczeń. Takie podejście pozwala uniknąć traktowania opinii, anegdot lub pojedynczych rezultatów jako dowodu.
Mechanizmy i definicja
Nadmierna pewność siebie zazwyczaj oznacza rozbieżność między tym, jak bardzo ktoś jest pewny, a tym, na ile jego oceny lub prognozy faktycznie są trafne. Weryfikacja zaczyna się od precyzyjnego określenia zakresu: czy oceniasz ogólne nastawienie, dokładność prognoz, czy zachowania decyzyjne?
Praktycznym sposobem operacjonalizacji tego pomysłu jest podzielenie twierdzenia na części stałe i zmienne.
- Stałe mechanizmy: założenie, że ludzie mogą przeceniać swoją wiedzę, umiejętności lub sygnały w stosunku do rzeczywistej niepewności w świecie.
- Zmienne warunki: wyniki zależą od kosztów, jakości wykonania, czasu i lokalnych zasad, które mogą się różnić w zależności od sytuacji.
Podczas weryfikowania każdego stwierdzenia o nadmiernej pewności siebie określ, co jest mierzone (poziom pewności, estymata prawdopodobieństwa lub subiektywna pewność) oraz co jest prognozowane (kierunek, przedział lub zdarzenie binarne). Zdefiniuj też, w jaki sposób pewność będzie zapisywana, zanim poznane zostaną wyniki, aby zapobiec błędowi wynikającemu z retrospektywnego spojrzenia.
Dowody i kroki weryfikacji możliwe do odtworzenia
Ponieważ nie zakłada się danych rynkowych w czasie rzeczywistym, weryfikację można przeprowadzić ogólnymi, możliwymi do odtworzenia metodami na podstawie zapisanych ocen.
1) Użyj z góry zdefiniowanej definicji i reguły punktacji
Utwórz prosty szablon:
- Decyzja: zdarzenie, które będziesz oceniać (jasno opisane).
- Pewność: liczbowy poziom prawdopodobieństwa (lub uporządkowana skala pewności przeliczona na przedział prawdopodobieństwa).
- Okno czasowe: kiedy wynik zostanie zaobserwowany.
- Wynik: później odnotowany rezultat.
Krok weryfikacji: oblicz, czy wyższa pewność wiąże się z wyższą dokładnością zgodnie z twoją regułą punktacji.
2) Wykonaj test kalibracji
Test kalibracji sprawdza, czy deklarowane prawdopodobieństwa odpowiadają zaobserwowanym częstościom. Przykładowe założenie: jeśli mówisz, że zdarzenie ma 70% prawdopodobieństwa w wielu próbach, to powinno wystąpić mniej więcej w 70% przypadków (w granicach naturalnej zmienności). Krok weryfikacji: pogrupuj swoje oceny w przedziały (np. 0–10%, 10–20%, …) i porównaj przewidywane oraz zaobserwowane częstości.
Istotne ograniczenie: kalibracja wymaga wystarczającej liczby obserwacji. Przy małych próbach losowa zmienność może wyglądać jak „dowód” albo jak „porażka”.
3) Dodaj test „rozdzielczości” z użyciem pre-commitment
Rozdzielczość mierzy, czy pewność w sposób istotny rozróżnia między wynikami prawdopodobnymi i mało prawdopodobnymi. Krok weryfikacji: przed poznaniem wyników uporządkuj oceny według pewności; po poznaniu wyników sprawdź, czy grupa o najwyższej pewności jest trafniejsza niż grupa o najniższej pewności.
Tryb awarii: jeśli analizujesz tylko przypadki po zobaczeniu wyników, wnioski mogą odzwierciedlać efekty selekcji, a nie nadmierną pewność siebie.
Ograniczenia i ryzyka
Co najmniej jedno istotne ograniczenie polega na tym, że nadmierna pewność siebie nie jest bezpośrednio obserwowalna jako pojedyncza liczba. Trzeba ją wywnioskować z mierzonej pewności i późniejszych wyników.
Inne ryzyka:
- Wyniki zmieniają się wraz z warunkami rynkowymi, kosztami, wykonaniem i jurysdykcją, więc nie możesz uogólniać z jednego kontekstu na wszystkie konteksty.
- Zależności historyczne nie ustanawiają przyszłych rezultatów.
- Pewność może się zmieniać pod wpływem nowych informacji, zmiany umiejętności lub zmiany trudności zadań.
Częsty tryb awarii to mieszanie „bycia w błędzie” z „byciem nadmiernie pewnym siebie”. Ktoś może być w błędzie z wielu powodów, w tym z powodu braku danych, a mimo to nadal być właściwie skalibrowanym.
Weryfikacja lub następne pytanie
Jeśli chcesz zweryfikować informacje o nadmiernej pewności siebie do badań lub oceny, utrzymaj proces jako możliwy do odtworzenia:
- Precyzyjnie zdefiniuj twierdzenie (jaki typ nadmiernej pewności siebie i jaka miara).
- Zapisuj pewność przed poznaniem wyników.
- Stosuj testy w stylu kalibracji i rozdzielczości z udokumentowanymi założeniami.
- Raportuj niepewność i ograniczenia próby.
Następne pytanie, które warto rozważyć: co dokładnie liczy się jako „prawda obiektywna” dla zdarzeń, które oceniasz, i czy masz wystarczająco dużo zapisanych prób, aby kalibracja miała sens?