Apa yang dimaksud dengan “proses review” (mekanik)
Proses review adalah cara terstruktur untuk meninjau kembali keputusan dan hasilnya guna belajar apa yang perlu dipertahankan, diubah, atau diuji berikutnya. Dalam praktiknya, biasanya melibatkan: (1) memilih apa yang dianggap sebagai keputusan, (2) mengumpulkan informasi relevan yang digunakan pada saat itu, (3) membandingkan hasil yang direncanakan vs. hasil aktual, dan (4) mencatat pelajaran dalam format yang dapat diulang.
Agar dapat mengevaluasinya secara akurat, Anda perlu definisi yang stabil. Misalnya, tentukan apa yang Anda maksud dengan “hasil” (hasil bersih setelah biaya, atau pergerakan kotor), jendela waktu yang Anda tinjau, dan input mana yang disertakan. Tanpa pilihan-pilihan ini, review bisa terlihat presisi padahal sebenarnya mengukur hal yang berbeda setiap kali.
Bukti dan contoh: di mana kesimpulan review gagal
Pertimbangkan alur kerja review sederhana yang memberi label setiap hasil sebagai “baik” jika hasilnya positif pada sebuah chart dan “buruk” jika negatif. Ini bisa gagal karena tanda dari sebuah hasil tidak sama dengan hasil yang Anda alami.
Bahkan tanpa menggunakan data real-time, keterbatasannya jelas: review dapat mengabaikan kondisi yang bervariasi seperti spread yang berbeda, slippage, komisi, atau waktu eksekusi. Jika data historis yang Anda gunakan mengasumsikan satu set biaya, sementara lingkungan live memiliki set biaya yang lain, perbandingan dalam review Anda mencampur adu apel dan jeruk.
Mode kegagalan lain adalah survivorship bias pada apa yang Anda pilih untuk direview. Jika Anda hanya mereview keputusan yang mudah dijelaskan setelah kejadian, proses tersebut akan melebih-lebihkan seberapa sering penalaran Anda bekerja.
Keterbatasan dan risiko: mode kegagalan, ketidakpastian, dan kondisi yang berubah
Keterbatasan utama bukan tentang apakah review membantu pembelajaran; melainkan tentang apa yang dapat disimpulkan secara andal oleh sebuah proses review.
-
Tidak diasumsikan ada data pasar real-time, sehingga relevansi masa depan tidak pasti. Sebuah review didasarkan pada apa yang terjadi di masa lalu. Periode berikutnya bisa berbeda secara material dalam volatilitas, likuiditas, dan perilaku korelasi.
-
Hasil bervariasi dengan biaya, eksekusi, dan yurisdiksi. Niat yang mendasari yang sama dapat menghasilkan hasil aktual yang berbeda ketika biaya, kualitas eksekusi order, atau aturan yang berlaku berbeda di waktu dan tempat yang berbeda.
-
Hubungan historis tidak menetapkan hasil masa depan. Bahkan ketika sebuah review menemukan pola dalam hasil masa lalu, itu tidak membuktikan bahwa kondisi serupa akan terulang.
-
Input yang tidak konsisten merusak pengukuran. Jika Anda mengubah definisi (misalnya, kadang menghitung biaya dan kadang tidak), atau jika Anda menangkap keputusan dengan tingkat detail yang berbeda, maka “perbaikan” bisa menjadi sebuah artefak.
-
Overfitting pada sampel yang terbatas. Ketika jumlah keputusan yang direview sedikit, proses tersebut dapat keliru menganggap variasi acak sebagai pelajaran yang stabil.
Cara memverifikasi temuan review (dan apa yang perlu ditanyakan berikutnya)
Untuk memverifikasi secara independen apa yang diberitahukan oleh sebuah proses review kepada Anda, fokus pada bagian yang bisa Anda ukur secara konsisten. Nyatakan asumsi yang eksplisit: apa yang dianggap sebagai “keputusan,” biaya apa saja yang disertakan, dan apakah perbandingan menggunakan aturan yang sama setiap kali.
Lalu ajukan pertanyaan verifikasi ini:
- Apakah definisi yang sama diterapkan pada semua kasus yang direview?
- Apakah review memisahkan efek pergerakan pasar dari efek eksekusi dan biaya?
- Jika Anda mengulang review pada jendela waktu yang berbeda, apakah kesimpulannya tetap konsisten dalam arah dan besarnya?
- Apakah ukuran sampel dan kriteria pemilihan didokumentasikan sehingga Anda bisa menilai risiko bias?
Jika pemeriksaan tersebut tidak dapat dilakukan, interpretasi yang paling aman adalah bahwa proses review memberikan sinyal pembelajaran tentang alur kerja masa lalu Anda, bukan prediksi yang andal tentang hasil masa depan.