Yang Perlu Diketahui Pemula Tentang Overfitting

Apa arti overfitting dalam istilah sederhana

Overfitting adalah ketika sebuah model atau kumpulan aturan menyesuaikan detail dari kumpulan data tertentu terlalu dekat sehingga ia mempelajari keacakan (noise) daripada hubungan mendasar yang dapat diulang.

Cara sederhana untuk memikirkannya: jika pendekatan tersebut berkinerja baik pada data yang Anda gunakan untuk membangunnya, tetapi terasa lebih buruk pada data yang belum pernah dilihatnya, Anda mungkin sedang menghadapi overfitting.

Mekanismenya: mengapa hasil yang bagus bisa menyesatkan

Overfitting biasanya muncul ketika tiga bahan menyatu:

• Fleksibilitas tinggi: model dapat menggunakan banyak parameter, kondisi, atau derajat kebebasan.
• Data terbatas atau tidak representatif: periode pelatihan tidak menangkap variasi masa depan.
• Penyesuaian terhadap masa lalu: penyesuaian dilakukan berulang kali untuk memperbaiki hasil masa lalu.

Dalam situasi itu, model dapat “menghafal” pola yang unik pada sampel. Ketika kondisi berubah, pola yang dihafal itu berhenti bekerja.

Mekanika yang stabil vs. kondisi yang berubah-ubah

Berhati-hatilah untuk memisahkan apa yang secara umum benar dari apa yang bergantung pada input yang berubah.

• Mekanika yang stabil: ketidakcocokan statistik antara data pelatihan dan data baru adalah masalah inti.
• Kondisi yang berubah-ubah: hasil nyata bergantung pada perubahan rezim pasar, kualitas data, perbedaan eksekusi, dan biaya.

Karena kondisi yang berubah-ubah itu jarang identik dengan kondisi historis, bahkan model yang terpasang dengan baik pun mungkin tidak dapat digeneralisasi.

Bukti dan contoh (dengan asumsi yang dinyatakan)

Bayangkan Anda memiliki data historis untuk sebuah proses dan Anda mencoba banyak versi aturan peramalan yang semakin kompleks.

Asumsi untuk contoh ini:

• Anda mengevaluasi versi hanya pada periode historis yang sama yang digunakan untuk menyesuaikannya.
• Anda memilih versi dengan kinerja historis terbaik.

Apa yang bisa terjadi:

• Versi yang dipilih kemungkinan mendapat manfaat dari keanehan acak yang berumur pendek pada periode itu.
• Ketika Anda kemudian menguji pada jendela waktu yang berbeda (tidak digunakan untuk penyesuaian), kinerja dapat turun.

Pola ini adalah tanda praktis umum dari overfitting: keberhasilan pada data “yang diketahui” menjadi tidak dapat diandalkan ketika data berubah.

Keterbatasan dan risiko: bagaimana overfitting gagal dalam praktik

Keterbatasan yang material adalah bahwa backtesting atau evaluasi dapat memberikan keyakinan palsu.

Mode kegagalan umum meliputi:

• Bias look-ahead: informasi yang seharusnya tidak tersedia secara tidak sengaja digunakan.
• Kebocoran data: sinyal atau langkah prapemrosesan secara tidak sengaja memasukkan informasi masa depan.
• Pergeseran rezim: hubungan statistik berubah, sehingga pola yang dipelajari tidak lagi berlaku.
• Asumsi biaya tersembunyi: perbedaan kecil dalam biaya transaksi atau eksekusi dapat menghapus keuntungan masa lalu.

Bahkan jika suatu metode terlihat konsisten, hasil dapat bervariasi di berbagai periode waktu karena hubungan historis mungkin tidak stabil.

Cara memverifikasi (tanpa mengasumsikan kepastian masa depan)

Untuk memeriksa apakah suatu hasil itu kuat, gunakan langkah verifikasi yang mengurangi kemungkinan salah mengira noise sebagai sinyal:

• Gunakan pengujian out-of-sample: sisihkan data yang tidak digunakan untuk penyesuaian.
• Uji di beberapa jendela waktu: cari stabilitas, bukan hanya satu periode terbaik.
• Variasikan asumsi: ubah pengaturan yang wajar (seperti jendela evaluasi atau asumsi biaya) dan lihat apakah kesimpulan bertahan.

Titik kendali: jika kinerja sangat bergantung pada bagian tertentu dari sejarah atau pada penyesuaian berulang terhadap hasil masa lalu, itu adalah tanda peringatan.

Ingat: hubungan historis tidak menetapkan hasil masa depan. Perlakukan setiap kecocokan masa lalu yang kuat sebagai hipotesis yang harus bertahan pada data baru yang belum terlihat dan kondisi yang berubah.