Bagaimana Informasi tentang Overfitting Dapat Diverifikasi?

Jawaban langsung

Informasi tentang overfitting dapat diverifikasi dengan memeriksa apakah keberhasilan nyata suatu model pada data masa lalu bertahan dalam prosedur evaluasi yang ketat dan dapat diulang. Verifikasi harus fokus pada tiga hal: definisi (apa itu overfitting), mekanisme (bagaimana pelatihan dan pengujian dipisahkan), dan mode kegagalan (bagaimana kebocoran atau pola yang tidak stabil dapat menciptakan hasil yang menyesatkan). Karena data pasar, biaya, eksekusi, dan asumsi dapat bervariasi, Anda harus memperlakukan hasil backtest tunggal apa pun sebagai tidak cukup untuk verifikasi.

Mekanisme dan definisi

Overfitting terjadi ketika suatu metode menyesuaikan diri dengan keunikan spesifik dari sebuah kumpulan data—termasuk noise—begitu baiknya sehingga kinerjanya lebih buruk pada data baru dibandingkan pada data yang digunakan untuk melatihnya. Cara praktis untuk mengungkapkannya adalah:

• Jika kinerja meningkat pada data pelatihan tetapi tidak pada data yang tidak digunakan untuk pelatihan, ketidaksesuaian tersebut konsisten dengan overfitting.
• Jika kinerja sangat bergantung pada perubahan kecil pada pilihan (fitur, hyperparameter, ambang batas), sensitivitas tersebut juga merupakan tanda peringatan.

Dalam verifikasi, kuncinya adalah menegakkan pemisahan yang jelas antara (1) data yang digunakan untuk membangun atau menyetel metode dan (2) data yang hanya digunakan untuk mengevaluasinya. Evaluasi harus dilakukan setelah penyetelan ditetapkan, bukan selama proses penyetelan.

Bukti dan langkah verifikasi yang dapat direproduksi

Gunakan “hierarki sumber” yang dapat direproduksi dari tingkat verifikasi. Mulailah dengan pemeriksaan yang lebih sederhana, lalu lanjutkan ke pemeriksaan yang lebih menuntut.

Level 1: Perbandingan dasar di luar sampel

1. Bagi kumpulan data Anda menjadi bagian pelatihan dan bagian evaluasi.
2. Sesuaikan atau setel metode hanya menggunakan bagian pelatihan.
3. Evaluasi sekali pada bagian evaluasi menggunakan pengaturan akhir yang tetap.
4. Catat hasil pelatihan dan evaluasi dan bandingkan kesenjangannya.

Asumsi: Anda mengukur target dan metrik evaluasi yang sama di kedua sisi, dan set evaluasi tidak memengaruhi pilihan desain apa pun.

Level 2: Evaluasi berulang di beberapa pembagian

Untuk mengurangi risiko bahwa satu pembagian menciptakan hasil yang menyesatkan:

1. Buat beberapa pembagian pelatihan/evaluasi yang berbeda (misalnya, beberapa fold).
2. Untuk setiap pembagian, ulangi urutan lengkap: setel pada data pelatihan pembagian itu, lalu evaluasi pada data evaluasi yang ditahan dari pembagian itu.
3. Ringkas distribusi hasil evaluasi di seluruh pembagian.

Keterbatasan material: bahkan pembagian berulang pun dapat melewatkan kebocoran berbasis waktu jika metode pembagian tidak menghormati kronologi. Jika data diurutkan berdasarkan waktu, pembagian harus menjaga urutan sehingga informasi masa depan tidak digunakan untuk mengevaluasi masa lalu.

Level 3: Pengujian gaya maju di bawah aturan tetap

Pendekatan yang lebih ketat adalah dengan mensimulasikan evaluasi yang berwawasan ke depan:

1. Pilih jendela pelatihan dan setel hanya menggunakan jendela itu.
2. Evaluasi pada periode berikutnya menggunakan pengaturan yang disetel tanpa perubahan lebih lanjut.
3. Secara opsional, gulirkan jendela ke depan dan ulangi.

Asumsi: aturan penyetelan dibekukan sebelum evaluasi dimulai. Ini membantu Anda memverifikasi apakah hubungan yang “dipelajari” dapat digeneralisasi melampaui periode pelatihan yang tepat.

Level 4: Pemeriksaan mode kegagalan yang biasanya merusak verifikasi

Setidaknya satu mode kegagalan material harus diuji secara eksplisit:

• Kebocoran data: pastikan bahwa prapemrosesan, rekayasa fitur, penskalaan, atau seleksi apa pun dilakukan hanya menggunakan data pelatihan untuk setiap pembagian.
• Pengujian ganda / pencarian berulang: jika banyak variasi dicoba dan hanya hasil terbaik yang dilaporkan, evaluasi bisa menjadi bias. Verifikasi harus melacak seluruh proses pencarian, bukan hanya pemenang akhir.
• Sensitivitas terhadap pilihan: jalankan ulang verifikasi dengan variasi yang wajar dan telah ditentukan sebelumnya (misalnya, hyperparameter atau set fitur yang sedikit berbeda) dan periksa apakah evaluasi tetap stabil.

Keterbatasan dan risiko

Beberapa keterbatasan berarti Anda dapat memverifikasi perilaku overfitting tetapi tetap tidak dapat memprediksi hasil masa depan dengan pasti:

• Hubungan historis tidak menetapkan hasil masa depan; kinerja dapat berubah ketika proses pembuatan data yang mendasarinya berubah.
• Biaya dan efek eksekusi dapat mengubah hasil yang direalisasikan relatif terhadap evaluasi yang disederhanakan.
• Perubahan kecil dalam asumsi (apa yang diukur, bagaimana data dibagi, bagaimana prapemrosesan ditangani) dapat mengubah kesimpulan.

Perlakukan verifikasi overfitting sebagai cara untuk menilai risiko generalisasi, bukan sebagai jaminan kinerja masa depan yang baik.

Verifikasi atau pertanyaan berikutnya

Jika Anda ingin memverifikasi klaim spesifik tentang overfitting, tulis ulang menjadi pernyataan yang dapat diuji seperti: “Kinerja pelatihan secara konsisten lebih tinggi daripada kinerja di luar sampel,” atau “Hasil evaluasi tidak stabil di seluruh pembagian.” Kemudian terapkan Level 1–3 dengan prapemrosesan yang tahan kebocoran dan aturan penyetelan yang tetap.