Apa Saja Keterbatasan Analisis Kesalahan?

Apa yang dimaksud dengan analisis kesalahan

Analisis kesalahan adalah cara terstruktur untuk memeriksa keputusan masa lalu guna memahami apa yang salah dan mengapa, dengan tujuan meningkatkan keputusan di masa depan. Dalam praktiknya, analisis ini biasanya melibatkan: (1) mendeskripsikan situasi, (2) mengidentifikasi apa yang telah dilakukan, (3) menyatakan hasil yang diharapkan pada saat itu, dan (4) membandingkan ekspektasi tersebut dengan apa yang sebenarnya terjadi.

Karena bersifat retrospektif, metode ini tidak dapat secara langsung mengamati semua variabel tersembunyi. Metode ini bergantung pada masukan yang Anda kumpulkan (misalnya, alasan yang Anda tuliskan, waktu Anda bertindak, dan kondisi yang dialami sistem Anda). Ketergantungan pada masukan ini menciptakan keterbatasan utama yang pertama.

Cara kerjanya dalam praktik

Alur kerja yang umum memperlakukan keputusan sebagai serangkaian asumsi. Anda merekonstruksi kondisi sebagaimana Anda memahaminya, lalu mengevaluasi apakah hasilnya tidak konsisten dengan asumsi tersebut.

Dua bagian penting untuk akurasi:

1. Mekanisme yang stabil vs. kondisi yang bervariasi Beberapa elemen relatif stabil—seperti apakah Anda mengikuti aturan, apakah alasan Anda konsisten secara internal, atau apakah Anda mengevaluasi informasi sebelum bertindak. Elemen lain bervariasi—seperti likuiditas pasar, volatilitas, kualitas eksekusi, spread, dan batasan prosedural apa pun di lingkungan tempat perdagangan dieksekusi.

2. Asumsi di balik perhitungan apa pun Jika Anda membandingkan “ekspektasi” vs. “aktual”, Anda secara implisit mengasumsikan sesuatu tentang apa yang akan Anda dapatkan dalam kondisi yang sama. Ketika asumsi itu salah atau tidak lengkap, analisis dapat menyalahkan penyebab yang keliru.

Bahkan tanpa data waktu nyata, analisis ini tetap berguna untuk memahami pengambilan keputusan. Keterbatasannya adalah analisis ini mungkin tidak menjelaskan hasil dengan cukup baik untuk memprediksi atau mencegah kegagalan serupa.

Bukti dan contoh: mengapa hasil bisa menyesatkan

Pertimbangkan skenario yang disederhanakan: sebuah keputusan berkinerja buruk. Analisis kesalahan mungkin menyimpulkan bahwa masalahnya adalah “penilaian yang buruk pada saat itu.” Namun, hasil yang buruk juga dapat berasal dari kondisi yang bukan bagian dari alasan awal, seperti selip eksekusi atau biaya transaksi yang berbeda dari yang Anda modelkan.

Ini menciptakan mode kegagalan yang umum: kesalahan atribusi. Analisis menetapkan satu penyebab yang sesuai dengan hasil, meskipun banyak faktor yang dapat berkontribusi. Ketika Anda tidak dapat memisahkan penyebab (karena data yang hilang tidak dapat dipulihkan), kesimpulan “apa yang harus dilakukan lain kali” menjadi tidak pasti.

Mode kegagalan kedua adalah bias seleksi. Jika Anda hanya menganalisis keputusan yang salah, Anda dapat melebih-lebihkan seberapa sering “kesalahan” yang sama menyebabkan kerugian. Jika Anda hanya menganalisis keputusan yang mudah direkonstruksi, Anda mungkin melewatkan berbagai konteks keputusan secara keseluruhan.

Keterbatasan dan risiko

1) Ketidakpastian tentang penyebab sebenarnya

Analisis kesalahan dapat memperjelas apa yang terjadi, tetapi mungkin tidak membuktikan mengapa hal itu terjadi. Faktor tersembunyi dapat mencakup perbedaan eksekusi, efek waktu, atau keterbatasan informasi yang tersedia bagi Anda saat itu. Akibatnya, metode ini dapat menghasilkan penjelasan yang masuk akal tetapi tidak dapat diverifikasi.

2) Hasil historis tidak menetapkan hubungan masa depan

Bahkan jika Anda menemukan pola—seperti “keputusan yang dibuat dalam kondisi X berkinerja lebih buruk”—hubungan tersebut tidak dijamin akan bertahan. Kondisi pasar, perilaku peserta, dan biaya dapat berubah. Oleh karena itu, hubungan masa lalu antara gaya keputusan dan hasil mungkin tidak berlaku di kemudian hari.

3) Kondisi dan biaya dapat mengubah makna dari keputusan yang sama

Dua keputusan yang terlihat identik dalam penalaran dapat menghasilkan hasil yang berbeda jika lingkungan sekitarnya berbeda. Biaya transaksi, kualitas eksekusi, dan aturan operasional dapat membuat “kesalahan” yang sama tampak lebih atau kurang merugikan. Jika analisis Anda tidak memperhitungkan perbedaan ini, analisis tersebut dapat melebih-lebihkan kesimpulan.

4) Overfitting pada satu narasi

Analisis kesalahan dapat menjadi upaya untuk menyesuaikan satu cerita dengan hasil yang kompleks. Ini dapat menghasilkan pelajaran yang sempit dan tidak dapat digeneralisasi. Ketika Anda tidak dapat menguji penjelasan yang bersaing, Anda mungkin mengira penjelasan yang nyaman adalah penjelasan yang benar.

Verifikasi dan pertanyaan selanjutnya

Untuk memverifikasi analisis kesalahan, perlakukan kesimpulannya sebagai hipotesis, bukan fakta. Pemeriksaan praktis adalah menanyakan apakah penjelasan tersebut tetap konsisten di seluruh kasus serupa, menggunakan asumsi yang sama tentang kondisi dan masukan.

Jika Anda ingin lebih mandiri dan akurat, perjelas pertanyaan-pertanyaan ini:

• Informasi apa yang sebenarnya tersedia pada saat keputusan dibuat? - Bagian lingkungan mana yang bervariasi, dan apakah variasi tersebut dicatat?