Contoh Kerja Pengujian Di Luar Sampel

Jawaban langsung

Pengujian di luar sampel adalah cara untuk memeriksa bagaimana suatu aturan keputusan (misalnya, model peramalan atau aturan strategi) bekerja pada data yang tidak dilihatnya selama penyesuaian atau penyetelan. Contoh kerja membuat logika ini menjadi jelas: Anda membuat model menggunakan bagian pertama dari data historis, lalu Anda mengevaluasinya pada bagian “holdout” yang terpisah. Tujuannya adalah untuk memperkirakan kinerja tanpa bias optimistis yang muncul dari beradaptasi dengan data yang sama.

Contoh kerja harus secara eksplisit menyatakan asumsi seperti bagaimana pembagian dibuat, perhitungan apa yang diulang, dan bagaimana kinerja dihitung. Ini juga harus mencatat keterbatasan: hasil di luar sampel masih bisa gagal ketika pasar berubah, ketika biaya dan eksekusi tidak realistis, atau ketika informasi bocor dari periode evaluasi ke langkah-langkah penyesuaian.

Mekanisme dan definisi

Berikut adalah alur kerja inti, yang dinyatakan secara umum:

1. Pilih keluarga model dan prosedur penyesuaian. Ini adalah bagian yang dapat “belajar” dari data.
2. Bagi kumpulan data yang tersedia menjadi dua set yang saling lepas: periode dalam sampel (pelatihan) dan periode di luar sampel (pengujian).
3. Sesuaikan atau setel hanya pada set dalam sampel (termasuk memilih hiperparameter atau ambang batas).
4. Bekukan model dan evaluasi sekali pada set di luar sampel.

Istilah penting dalam konteks ini:

• “Dalam sampel” berarti data yang digunakan untuk penyesuaian/penyetelan.
• “Di luar sampel” berarti data yang dicadangkan untuk evaluasi.
• “Holdout” berarti periode pengujian tidak digunakan untuk membuat keputusan penyetelan lebih lanjut.

Mengapa ini membantu: ketika Anda menyetel pada data yang sama yang Anda evaluasi, Anda secara tidak sengaja dapat menangkap noise. Pengujian di luar sampel mengurangi bias tertentu itu dengan memaksa evaluasi pada data yang tidak terlihat.

Bukti atau contoh numerik kerja (dengan asumsi eksplisit)

Asumsikan Anda ingin memprediksi arah hari berikutnya (Naik atau Turun) berdasarkan satu fitur, X, yang dihitung dari informasi setiap hari yang tersedia sebelum hari berikutnya dimulai.

Asumsi untuk contoh:

• Anda memiliki 20 hari data berurutan.
• Hari 1–12 adalah dalam sampel; hari 13–20 adalah di luar sampel.
• Modelnya adalah aturan sederhana: prediksi “Naik” jika X > T, jika tidak prediksi “Turun.”
• Nilai X dan hasil hari berikutnya yang terealisasi adalah tetap (tidak ada data baru yang masuk).
• Selama penyetelan, Anda dapat memilih T hanya menggunakan Hari 1–12.
• Anda menghitung akurasi sebagai proporsi prediksi arah satu hari ke depan yang benar.

Langkah A: Setel T pada dalam sampel (Hari 1–12) Misalkan ketika Anda mencoba ambang batas kandidat, ambang batas terbaik pada Hari 1–12 adalah T = 0,50.

• Akurasi pada dalam sampel menggunakan T=0,50: 9 benar dari 12 = 75%.

Langkah B: Bekukan dan evaluasi pada di luar sampel (Hari 13–20) Sekarang Anda terapkan aturan yang dibekukan (Naik jika X>0,50, jika tidak Turun) ke Hari 13–20. Misalkan aturan tersebut menghasilkan:

• 3 benar dari 8 hari.
• Akurasi di luar sampel = 3/8 = 37,5%.

Cara menafsirkan hasil numerik ini

• Skor dalam sampel (75%) menunjukkan bahwa aturan tersebut cocok dengan sesuatu di periode pelatihan.
• Penurunan di luar sampel menjadi 37,5% menunjukkan bahwa hubungan dalam sampel yang tampak tidak digeneralisasi dengan baik ke periode selanjutnya.
• Ini tidak membuktikan bahwa aturan tersebut tidak berguna selamanya; ini menunjukkan bahwa, di bawah pembagian dan asumsi yang dinyatakan, bukti dari periode evaluasi lebih lemah daripada bukti dari pelatihan.

Keterbatasan dan mode kegagalan material

Pengujian di luar sampel mengurangi satu bentuk bias, tetapi tidak menjamin kinerja masa depan yang andal. Keterbatasan material meliputi:

1. Perbandingan berganda dan penggunaan berlebihan set pengujian Jika Anda berulang kali menyesuaikan T (atau pilihan lain) berdasarkan hasil periode pengujian, pengujian menjadi sebagian dalam sampel. Ini memperkenalkan kembali bias optimistis.

2. Kebocoran data Jika bagian mana pun dari proses penyesuaian secara tidak sengaja menggunakan informasi yang tidak tersedia pada saat prediksi (misalnya, menggunakan input yang diturunkan dari masa depan), maka perkiraan di luar sampel bisa menjadi tidak valid bahkan dengan pembagian yang bersih.

3. Non-stasioneritas (perubahan rezim) Deret waktu keuangan dapat mengubah perilaku dari waktu ke waktu. Model yang bekerja di satu periode mungkin gagal di periode lain karena hubungan mendasar antara X dan hasil telah bergeser.

4. Kurangnya realisme: biaya dan eksekusi Bahkan jika prediksi arah “benar,” hasil nyata bergantung pada biaya transaksi, spread, dan waktu eksekusi. Metrik evaluasi yang disederhanakan dapat melebih-lebihkan hasil praktis.

5. Efek sampel kecil Dengan data di luar sampel yang terbatas, perkiraan dapat memiliki variabilitas tinggi. Angka yang rendah atau tinggi mungkin mencerminkan keacakan daripada generalisasi yang sebenarnya.