Pertimbangan lanjutan untuk proses peninjauan

Jawaban langsung: apa pertimbangan lanjutan untuk proses peninjauan?

Proses peninjauan adalah praktik terstruktur untuk memeriksa keputusan dan hasil setelah kejadian guna meningkatkan kualitas keputusan di masa depan. Pertimbangan lanjutan berfokus pada (1) mendefinisikan apa yang Anda tinjau, (2) mengisolasi mekanisme evaluasi Anda dari kondisi eksternal yang bervariasi, (3) menangani kasus tepi ketika data atau atribusi tidak jelas, dan (4) memverifikasi kesimpulan dengan asumsi dan kriteria yang telah ditetapkan.

Karena peninjauan bergantung pada informasi yang tidak lengkap, biaya, waktu, dan detail eksekusi bervariasi, dan hasil dapat menyimpang di berbagai lingkungan pasar. Proses peninjauan yang kuat karenanya menghindari memperlakukan hubungan masa lalu sebagai jaminan, dan sebaliknya bertujuan menghasilkan kesimpulan yang dapat Anda periksa secara independen.

Mekanisme atau definisi: bagaimana proses peninjauan bekerja

Mulailah dengan konsep yang jelas tentang apa yang dimaksud “peninjauan” dalam konteks Anda. Dalam praktiknya, Anda biasanya menggabungkan empat elemen:

Ruang lingkup dan unit analisis Tentukan unit yang Anda tinjau (misalnya: satu keputusan, rangkaian keputusan, atau seluruh periode rencana). Jika unit berubah dari waktu ke waktu, kesimpulan Anda menjadi sulit untuk dibandingkan.
Input (data yang Anda gunakan) Peninjauan biasanya menggunakan setidaknya:

Fakta keputusan: apa yang Anda yakini, kapan Anda bertindak, dan batasan apa yang Anda ikuti.
Fakta eksekusi: waktu pemesanan, pengisian (fills), dan detail operasional relevan lainnya.
Fakta biaya: biaya, spread, slippage, dan biaya transaksi lain yang dapat Anda atribusikan.
Fakta hasil: hasil yang terealisasi menggunakan metode pengukuran Anda sendiri.

Mekanisme evaluasi (bagaimana Anda memberi skor) Mekanisme evaluasi harus stabil. Misalnya, Anda mungkin memberi skor keputusan berdasarkan apakah penalarannya sesuai dengan aturan rencana pada waktu keputusan, bukan berdasarkan apakah hasil akhirnya ternyata menguntungkan.
Aturan umpan balik dan tindakan (bagaimana Anda memperbarui) Peninjauan harus menghasilkan perubahan spesifik dan dapat diuji, seperti merevisi daftar periksa, mengubah informasi yang Anda perlukan sebelum bertindak, atau menyesuaikan ambang batas. Meski begitu, Anda harus menyatakan asumsi, karena beberapa perubahan hanya masuk akal pada kondisi tertentu.

Pertimbangan lanjutan: pisahkan mekanisme dari kondisi. Aturan evaluasi Anda bisa konsisten, tetapi input mencerminkan kondisi pasar dan penyedia yang bervariasi. Jika Anda mencampurnya, Anda mungkin keliru menganggap “pasar bergerak secara berbeda” sebagai “proses saya bermasalah,” atau sebaliknya.

Bukti atau contoh: dependensi dan kasus tepi yang harus Anda perhitungkan

Bahkan tanpa data real-time, Anda dapat memperjelas bagaimana kesimpulan peninjauan berhasil atau gagal dengan bekerja menggunakan contoh sederhana yang eksplisit.

Contoh 1: metrik hasil bisa menyesatkan saat biaya berubah

Asumsikan dua periode peninjauan menghasilkan pergerakan harga mentah yang sama, tetapi biaya transaksi berbeda karena kondisi eksekusi. Jika skor peninjauan Anda hanya mengandalkan hasil yang terealisasi, Anda mungkin keliru mengatribusikan kinerja pada kualitas keputusan Anda, alih-alih pada biaya yang berbeda.

Cara meningkatkan proses peninjauan:

Catat biaya sebagai bagian dari pengukuran hasil.
Skor kebenaran keputusan secara terpisah dari hasil bersih yang terealisasi.

Contoh 2: timestamp yang hilang merusak kausalitas

Misalkan sebuah keputusan tampak dibuat pada satu waktu, tetapi timestamp yang tercatat tidak konsisten atau hilang. Anda tidak bisa menentukan secara andal apakah aturan rencana diikuti pada momen keputusan yang dimaksud.

Penanganan lanjutan:

Tambahkan pemeriksaan kelengkapan sebagai langkah yang wajib.
Perlakukan “data hilang” sebagai kategori tersendiri, bukan memaksa estimasi.

Contoh 3: penyebab campuran dan atribusi

Sebuah hasil dapat dipengaruhi oleh banyak faktor: pergerakan pasar, timing eksekusi, dan kepatuhan pada aturan keputusan. Jika Anda tidak menetapkan batas atribusi, Anda mungkin memberi kredit berlebihan atau kurang pada satu aspek.

Pendekatan praktis:

Gunakan hipotesis yang telah ditetapkan (misalnya: “ketidaksesuaian aturan keputusan,” “keterlambatan eksekusi,” “lonjakan biaya yang tidak terduga”).
Izinkan beberapa faktor penyumbang, bukan satu penyebab tunggal.

Keterbatasan material atau mode kegagalan: bias konfirmasi

Mode kegagalan yang umum adalah “bias kesuksesan” atau “penjelasan setelah kejadian,” ketika Anda fokus pada bukti yang mendukung interpretasi pilihan Anda dan mengabaikan bukti yang berlawanan. Proses peninjauan lanjutan mengurangi risiko ini dengan:

Menetapkan aturan penskoran sebelumnya.
Mencatat bukti apa yang akan Anda anggap sebagai bukti yang membantah (disconfirming).
Menjaga template evaluasi yang konsisten agar setiap peninjauan terstruktur secara sebanding.

Keterbatasan dan risiko: apa yang bisa salah, dan mengapa verifikasi penting

Proses peninjauan tidak menghilangkan ketidakpastian. Beberapa risiko dapat membatasi apa yang bisa Anda simpulkan:

Non-stasioneritas Perilaku pasar dapat berubah. Bahkan jika mekanisme evaluasi Anda benar, hubungan historis mungkin tidak berlaku pada kondisi baru.
Variabilitas penyedia dan eksekusi Efek eksekusi dan biaya dapat berbeda di berbagai waktu dan keadaan operasional. Jika Anda mengasumsikan kondisi yang stabil, peninjauan Anda mungkin keliru menyimpulkan kausalitas.
Ketidakkonsistenan pengukuran Jika Anda mengubah cara Anda mendefinisikan hasil, kebenaran keputusan, atau unit analisis, Anda kehilangan kemampuan untuk membandingkan.
Bias sampel selektif Jika Anda hanya meninjau trading atau periode yang “berjalan salah,” Anda menciptakan pandangan yang tidak seimbang. Sebaliknya, jika Anda hanya meninjau keberhasilan, Anda menciptakan bias yang berlawanan.
Overfitting pada kejadian masa lalu Ketika peninjauan menjadi upaya untuk menyesuaikan keputusan secara terlalu spesifik pada sampel masa lalu, hal itu dapat mengurangi ketahanan (robustness).

Pertimbangan lanjutan: mode kegagalan harus dibuat eksplisit. Misalnya, jika peninjauan Anda tidak dapat menentukan secara andal apakah aturan rencana diikuti, maka “perbaikan proses” apa pun berdasarkan peninjauan tersebut mungkin tidak berdasar.

Verifikasi dan pertanyaan berikutnya: bagaimana memeriksa kesimpulan peninjauan secara independen

Agar kesimpulan peninjauan dapat diverifikasi secara independen, struktur verifikasi harus berpusat pada asumsi dan kriteria.

Nyatakan asumsi Untuk setiap perhitungan atau contoh, nyatakan apa yang Anda asumsikan (misalnya: bagaimana biaya diukur, bagaimana timing diinterpretasikan, dan apa yang dianggap sebagai pelanggaran aturan rencana).
Gunakan kesimpulan berbasis kriteria Alih-alih “ini berhasil,” arahkan pada pernyataan seperti: “Keputusan sesuai dengan aturan rencana pada waktu keputusan pada X dari Y kasus,” atau “hasil bersih berbeda dari kepatuhan aturan terutama ketika atribusi biaya berada di atas ambang batas yang telah ditetapkan.”
Lakukan pemeriksaan konsistensi

Apakah input yang sama menghasilkan hasil evaluasi yang sama?
Apakah aturan penskoran yang sama diterapkan di semua peninjauan?

Periksa penjelasan alternatif Jika ada beberapa penyebab yang masuk akal, uji apakah kesimpulan Anda tetap berlaku di bawah setiap penjelasan yang masuk akal.
Rencanakan kualitas data Jika sistem peninjauan Anda bergantung pada timestamp yang lengkap, log eksekusi yang benar, dan biaya yang dapat diatribusikan, maka celah data adalah masalah kelas pertama yang harus dikelola.

Pertanyaan berikutnya yang berguna adalah apakah Anda dapat mereproduksi evaluasi Anda dari input yang tercatat menggunakan mekanisme yang sama. Jika Anda tidak bisa, kesimpulan peninjauan mungkin sulit untuk divalidasi.

Jika Anda ingin memperdalam topik ini, tindak lanjut yang baik adalah membandingkan “mekanisme peninjauan” dengan “output peninjauan,” lalu periksa bagaimana mekanisme menangani data yang hilang, biaya, dan kondisi yang berubah.