Kesalahan Umum dengan Overfitting

Jawaban langsung

Overfitting terjadi ketika sebuah model (atau sistem berbasis aturan) menyesuaikan data historis terlalu dekat, menangkap noise acak atau keanehan spesifik dataset daripada pola yang akan bertahan dalam data baru. Kesalahan umum adalah meyakini bahwa kinerja masa lalu yang kuat adalah bukti kegunaan di masa depan, alih-alih memperlakukannya sebagai sinyal yang harus divalidasi dalam kondisi yang belum pernah dilihat model.

Mekanika dan kesalahpahaman

Alur kerja yang umum adalah: kumpulkan data → tentukan model atau aturan keputusan → sesuaikan parameternya untuk meningkatkan hasil masa lalu → evaluasi. Overfitting biasanya masuk selama langkah penyesuaian atau seleksi. Kesalahpahaman kuncinya adalah “kebocoran informasi”: pilihan yang dibuat menggunakan data yang sama yang kemudian dievaluasi. Ini bisa terjadi bahkan ketika evaluasi disebut “tes,” jika set tes memengaruhi penyesuaian, seleksi fitur, atau menjalankan ulang berulang kali sampai “terlihat benar.”

Kesalahpahaman lain adalah mencampur mekanika yang stabil dengan kondisi yang bervariasi. Misalnya, banyak evaluasi mengasumsikan hubungan yang konsisten antara input dan hasil. Pada kenyataannya, lingkungan dapat berubah (rezim pasar, tingkat volatilitas, kualitas data, atau perbedaan pengukuran). Jika Anda tidak menentukan apa yang harus tetap stabil, Anda tidak dapat mengharapkan hubungan masa lalu untuk bertahan.

Kesalahan ketiga adalah gagal menyatakan asumsi untuk perhitungan. Jika sebuah contoh menggunakan return, ukuran risiko, atau ambang batas, perhitungan tersebut bergantung pada asumsi (seperti bagaimana posisi dibentuk, bagaimana waktu direpresentasikan, dan apa yang dihitung sebagai biaya). Tanpa asumsi yang eksplisit, menjadi mudah untuk membandingkan hasil yang tidak kompatibel atau salah membaca apa yang sebenarnya dioptimalkan model.

Bukti atau contoh bagaimana hal itu gagal

Pertimbangkan sebuah aturan yang diberi banyak derajat kebebasan: banyak parameter, filter fleksibel, atau transformasi fitur. Pada riwayat pelatihan, aturan itu sering dapat mengurangi kesalahan karena ada banyak cara untuk “menjelaskan” masa lalu yang spesifik. Tetapi ketika Anda menguji pada data baru yang belum pernah dilihat, penjelasan tersebut mungkin tidak lagi relevan. Anda mungkin mengamati penurunan tajam dalam kinerja, variabilitas yang lebih besar, atau kerusakan dalam peringkat model tentang situasi “baik” versus “buruk.”

Mode kegagalan yang konkret adalah “sukses karena kebetulan.” Jika Anda mencoba banyak konfigurasi dan menyimpan yang memiliki hasil historis terbaik, Anda secara efektif memilih keacakan. Bahkan jika setiap konfigurasi tunggal konsisten secara internal, proses seleksi keseluruhan dapat menghasilkan ilusi keandalan.

Mode kegagalan lain berasal dari realisme yang tidak cocok. Jika evaluasi mengabaikan gesekan eksekusi atau perbedaan pengambilan sampel antara bagaimana data dicatat dan bagaimana keputusan akan dibuat, hasil historis dapat terlihat lebih baik daripada yang sebenarnya dalam pengaturan praktis. Mekanika evaluasi kemudian mengukur proksi yang optimis daripada proses yang sebenarnya.

Keterbatasan, risiko, dan apa yang harus diverifikasi

Overfitting bukan hanya masalah pemodelan; ini juga masalah desain evaluasi. Risikonya adalah Anda dapat menyimpulkan “pola itu berhasil” padahal sebenarnya hanya berhasil untuk sampel historis tertentu dan cara tertentu yang disesuaikan.

Pemeriksaan netral yang membantu mengurangi kesalahpahaman meliputi:

• Gunakan pemisahan yang ketat antara data penyesuaian dan data evaluasi, dan jangan meninjau kembali evaluasi setelah memilih parameter.
• Terapkan beberapa irisan validasi (misalnya, menguji di berbagai jendela waktu) untuk melihat apakah pola bertahan dari perubahan lingkungan.
• Lacak bagaimana hasil berubah ketika Anda memvariasikan asumsi kunci dan pilihan prapemrosesan, seperti bagaimana input dihitung atau bagaimana penyelarasan waktu ditangani.
• Sertakan biaya dan detail terkait eksekusi dalam model evaluasi dengan cara yang sama seperti Anda mengukurnya untuk proses nyata, karena mengabaikannya dapat mengubah hasil.

Klaarcriterium (ide praktis lulus/gagal): jika kinerja sangat bergantung pada satu segmen waktu yang sempit, satu pilihan prapemrosesan tertentu, atau satu set parameter yang dipilih setelah iterasi ekstensif, itu adalah tanda kemungkinan overfitting.

Verifikasi dan pertanyaan berikutnya

Jika Anda ingin memverifikasi secara independen apakah overfitting ada, pertanyaan berikutnya adalah: “Bagian evaluasi mana yang dapat dipengaruhi oleh penyesuaian berulang?” Mulailah dengan mengaudit alur kerja Anda untuk kebocoran informasi, seleksi pada set tes, dan asumsi yang tidak jelas. Kemudian tentukan stabilitas apa yang Anda harapkan di seluruh data baru, dan apakah desain validasi Anda benar-benar menguji harapan itu.