Cara Memverifikasi Informasi tentang Pengujian di Luar Sampel

Definisikan pengujian di luar sampel dengan jelas

Pengujian di luar sampel adalah pendekatan evaluasi di mana kinerja dinilai pada data yang tidak digunakan untuk mengembangkan, menyesuaikan, atau memilih sistem. Tujuannya adalah untuk mengukur seberapa baik hasil dapat digeneralisasi ke kondisi yang belum terlihat, bukan seberapa baik sistem cocok dengan data masa lalu.

Untuk membuat informasi dapat diverifikasi, pisahkan mekanika dari apa pun yang bervariasi:

• Mekanika yang stabil: gagasan menyisihkan data, aturan untuk membagi kumpulan data, dan metode evaluasi.
• Kondisi yang bervariasi: perilaku pasar, kualitas eksekusi, biaya transaksi, dan aturan apa pun yang mungkin berbeda di seluruh penyedia atau yurisdiksi.

Ketika seseorang mendeskripsikan pengujian di luar sampel, perlakukan ini sebagai input berbeda yang harus dapat Anda reproduksi: data mana yang digunakan untuk pengembangan, data mana yang disisihkan, dan bagaimana hasil dihitung.

Gunakan hierarki sumber yang benar-benar dapat Anda audit

Bahkan tanpa mengandalkan harga langsung atau detail regulasi saat ini, Anda dapat memverifikasi keterverifikasian klaim dengan memeriksa kualitas sumber dalam hierarki:

1. Dokumentasi metode (prioritas tertinggi): spesifikasi tertulis apa pun yang mendefinisikan prosedur pembagian, metrik evaluasi, dan aturan penanganan data.
2. Deskripsi kumpulan data: penjelasan yang jelas tentang apa yang diwakili oleh data historis, bagaimana data dikumpulkan atau diberi label, dan bagaimana batas waktu ditegakkan.
3. Catatan komputasi yang dapat direproduksi: rumus atau logika langkah demi langkah yang menunjukkan bagaimana hasil yang dilaporkan dihitung dari data mentah.
4. Narasi hasil (prioritas terendah): grafik, ringkasan, atau kesimpulan tanpa detail metode yang mendasarinya.

Jika suatu informasi tidak memberikan detail yang cukup untuk mengidentifikasi aturan pembagian dan perhitungan, Anda tidak dapat memverifikasinya secara independen. Ini adalah kriteria verifikasi kunci tersendiri.

Langkah verifikasi yang dapat direproduksi (daftar periksa audit)

Gunakan langkah-langkah berikut untuk memverifikasi klaim tentang pengujian di luar sampel secara independen:

1. Konfirmasi aturan pembagian (tanpa penggunaan ulang):

   • Identifikasi secara tepat periode mana yang termasuk dalam pelatihan/pengembangan dan periode mana yang dicadangkan untuk pengujian.
   • Pastikan bagian yang disisihkan tidak digunakan untuk penyesuaian parameter, pemilihan model, atau desain “trial-and-error” yang berulang.

2. Periksa sinyal kebocoran: cari tanda bahwa pembagian tidak benar-benar independen, seperti:

   • rentang waktu yang tumpang tindih antara pengembangan dan pengujian,
   • normalisasi data atau konstruksi fitur yang menggunakan informasi dari jendela pengujian,
   • penyesuaian ulang yang berulang setelah mengamati kinerja pengujian.

3. Validasi metrik evaluasi dan asumsi:

   • Metrik harus dinyatakan secara eksplisit (misalnya, bagaimana pengembalian digabungkan, bagaimana bunga majemuk diperlakukan, atau ukuran risiko apa yang digunakan).
   • Jika Anda melihat contoh perhitungan, pastikan contoh tersebut menyatakan asumsi dengan jelas (seperti biaya dan waktu eksekusi) dan unit.

4. Selaraskan biaya dan waktu eksekusi:

   • Jika biaya transaksi atau penundaan eksekusi disertakan, metode harus mendefinisikan bagaimana hal tersebut dimodelkan.
   • Jika dikecualikan, Anda harus memperlakukan hasil yang dilaporkan sebagai tidak lengkap untuk perbandingan dunia nyata.

5. Replikasi dengan aturan yang sama, bukan cerita yang sama:

   • Jika Anda dapat mereproduksi pembagian dan langkah perhitungan yang sama, Anda dapat menguji apakah hasil yang dilaporkan mengikuti metode yang dinyatakan.
   • Jika hasil tidak dapat direproduksi, klaim tersebut kurang spesifik atau tidak konsisten.

Keterbatasan material dan mode kegagalan yang mungkin terjadi

Pengujian di luar sampel masih dapat gagal memprediksi perilaku nyata di masa depan. Keterbatasan umum yang harus Anda verifikasi terhadap detail metode:

• Overfitting yang disamarkan oleh perubahan proses: jika loop pengembangan secara tidak sengaja melihat informasi pengujian (langsung atau tidak langsung), pengujian “yang belum terlihat” tidak lagi belum terlihat.
• Pelanggaran struktur waktu: pembagian acak dapat menyesatkan untuk data berurutan waktu; metode harus membenarkan penanganan waktu.
• Ketidakcocokan biaya dan eksekusi: hasil yang dihitung tanpa biaya yang konsisten atau dengan asumsi eksekusi yang tidak realistis mungkin tidak dapat digeneralisasi.
• Derajat kebebasan tersembunyi: jika banyak pilihan desain dicoba, pengujian yang disisihkan mungkin secara efektif digunakan untuk seleksi meskipun secara teknis bukan bagian dari pelatihan.

Karena hasil bergantung pada kondisi yang bervariasi, Anda harus memperlakukan hasil di luar sampel sebagai perkiraan berdasarkan asumsi spesifik, bukan sebagai perkiraan yang andal.

Verifikasi dan pertanyaan selanjutnya yang harus diajukan

Ketika Anda membaca informasi tentang pengujian di luar sampel, pertanyaan verifikasi selanjutnya sangatlah mudah: Dapatkah Anda merekonstruksi aturan pembagian dan perhitungan yang tepat dari deskripsi saja? Jika tidak, Anda tidak dapat mengonfirmasi klaim tersebut secara independen.