Jawaban langsung
Informasi tentang overconfidence dapat diverifikasi dengan (1) menggunakan definisi yang konsisten, (2) menguji apakah keyakinan yang dinyatakan orang sesuai dengan hasil di kemudian hari, dan (3) mendokumentasikan asumsi serta keterbatasan. Pendekatan ini menghindari memperlakukan opini, anekdot, atau hasil sekali jalan sebagai bukti.
Mekanisme dan definisi
Overconfidence umumnya merujuk pada ketidaksesuaian antara seberapa yakin seseorang merasa dan seberapa akurat penilaian atau prediksi mereka sebenarnya. Verifikasi dimulai dengan cakupan yang tepat: apakah Anda menilai sikap umum, akurasi peramalan, atau perilaku pengambilan keputusan?
Cara praktis untuk mengoperasionalkan gagasan ini adalah memecah klaim menjadi bagian yang stabil dan bagian yang bervariasi.
- Mekanisme yang stabil: gagasan bahwa orang mungkin melebihkan pengetahuan, keterampilan, atau sinyal mereka dibandingkan ketidakpastian dunia nyata.
- Kondisi yang bervariasi: hasil bergantung pada biaya, kualitas eksekusi, waktu, dan aturan lokal, yang dapat berubah antar situasi.
Saat memverifikasi pernyataan apa pun tentang overconfidence, nyatakan apa yang diukur (tingkat keyakinan, estimasi probabilitas, atau kepastian subjektif) dan apa yang diprediksi (arah, rentang, atau peristiwa biner). Selain itu, definisikan bagaimana keyakinan akan dicatat sebelum hasil diketahui, untuk mencegah bias hindsight.
Bukti dan langkah verifikasi yang dapat direproduksi
Karena tidak diasumsikan adanya data pasar real-time, verifikasi dapat dilakukan dengan metode umum yang dapat direproduksi menggunakan penilaian yang dicatat.
1) Gunakan definisi dan aturan penilaian yang telah ditetapkan
Buat template sederhana:
- Keputusan: peristiwa yang akan Anda nilai (dijelaskan dengan jelas).
- Keyakinan: probabilitas numerik (atau skala keyakinan berperingkat yang dikonversi menjadi rentang probabilitas).
- Jendela waktu: kapan hasil akan diamati.
- Hasil: catatan hasil yang muncul kemudian.
Langkah verifikasi: hitung apakah keyakinan yang lebih tinggi berkorelasi dengan akurasi yang lebih tinggi sesuai aturan penilaian Anda.
2) Lakukan pemeriksaan kalibrasi
Uji kalibrasi memeriksa apakah probabilitas yang dinyatakan sesuai dengan frekuensi yang diamati. Contoh asumsi: jika Anda mengatakan suatu peristiwa kemungkinan 70% terjadi di banyak percobaan, maka peristiwa itu seharusnya terjadi sekitar 70% dari waktu (dengan variasi alami). Langkah verifikasi: kelompokkan penilaian Anda ke dalam bin (mis., 0–10%, 10–20%, …) lalu bandingkan frekuensi yang diprediksi versus frekuensi yang diamati.
Keterbatasan material: kalibrasi memerlukan jumlah pengamatan yang cukup. Dengan ukuran sampel yang kecil, variasi acak dapat terlihat seperti “bukti” atau “kegagalan”.
3) Tambahkan pemeriksaan “resolusi” menggunakan pre-commitment
Resolusi mengukur apakah keyakinan membedakan secara bermakna antara hasil yang kemungkinan besar dan yang kemungkinan kecil. Langkah verifikasi: sebelum hasil diketahui, urutkan penilaian berdasarkan keyakinan; setelah hasil diketahui, uji apakah kelompok dengan keyakinan tertinggi lebih akurat daripada kelompok dengan keyakinan terendah.
Mode kegagalan: jika Anda hanya menganalisis kasus setelah melihat hasil, kesimpulan bisa mencerminkan efek seleksi, bukan overconfidence.
Keterbatasan dan risiko
Setidaknya satu keterbatasan utama adalah overconfidence tidak dapat diamati secara langsung sebagai satu angka. Ia harus disimpulkan dari keyakinan yang diukur dan hasil di kemudian hari.
Risiko lainnya:
- Hasil bervariasi dengan kondisi pasar, biaya, eksekusi, dan yurisdiksi, sehingga Anda tidak bisa menggeneralisasi dari satu konteks ke semua konteks.
- Hubungan historis tidak menetapkan hasil masa depan.
- Keyakinan dapat bergeser karena informasi baru, perubahan keterampilan, atau perubahan tingkat kesulitan tugas.
Mode kegagalan yang umum adalah mencampur “salah” dengan “terlalu percaya diri.” Seseorang bisa salah karena banyak alasan, termasuk kurangnya data, namun tetap terkalibrasi dengan benar.
Verifikasi atau pertanyaan berikutnya
Jika Anda ingin memverifikasi informasi tentang overconfidence untuk riset atau evaluasi, pertahankan proses agar dapat direproduksi:
- Definisikan klaim secara tepat (jenis overconfidence apa dan pengukuran apa).
- Catat keyakinan sebelum hasil.
- Gunakan pemeriksaan gaya kalibrasi dan resolusi dengan asumsi yang didokumentasikan.
- Laporkan ketidakpastian dan batasan sampel.
Pertanyaan berikutnya yang perlu dipertimbangkan: apa yang tepatnya dianggap sebagai “kebenaran dasar” untuk peristiwa yang Anda nilai, dan apakah Anda memiliki cukup percobaan yang tercatat untuk membuat kalibrasi menjadi bermakna?