Risiko Apa Saja yang Terkait dengan Overfitting?

Apa itu overfitting

Overfitting adalah mode kegagalan pemodelan di mana suatu metode mempelajari pola yang menggambarkan data pelatihan dengan sangat dekat, termasuk noise dan kebetulan, daripada hanya hubungan mendasar yang berulang. Dalam praktiknya, model yang overfit dapat terlihat kuat pada data yang digunakan untuk menyetelnya, tetapi berperilaku buruk ketika dihadapkan pada kondisi baru atau yang berubah.

Bagaimana risiko muncul dalam situasi realistis

Alur kerja yang umum adalah: menyesuaikan model atau aturan pada observasi historis, memilih pengaturan yang meningkatkan hasil pada set historis yang sama, lalu berasumsi bahwa konfigurasi yang dipilih akan dapat digeneralisasi. Overfitting mengganggu rantai tersebut dalam beberapa cara.

Risiko operasional (masalah proses dan alur kerja)

Risiko operasional muncul karena “tampilan data” yang digunakan selama fitting sering kali berbeda dari “tampilan data” yang digunakan selama penggunaan langsung. Sumber yang umum adalah:

• Frekuensi sampling atau agregasi yang berbeda (misalnya, seberapa sering fitur dihitung).
• Pilihan pembersihan data (cara menangani nilai yang hilang, aturan outlier).
• Perbedaan implementasi (pembulatan, asumsi eksekusi, atau cara sinyal dipicu).

Jika keberhasilan model bergantung pada keanehan alur kerja fitting, keanehan tersebut dapat hilang di kemudian hari, menyebabkan perilaku yang tidak terduga.

Risiko pasar dan rezim (kondisi yang berubah)

Kondisi pasar bersifat non-stasioner: hubungan yang berlaku di masa lalu dapat melemah, hilang, atau berbalik arah. Overfitting memperburuk hal ini karena metode tersebut mungkin telah menyimpan kondisi yang sangat spesifik yang ada di jendela pelatihan tetapi tidak ada di kemudian hari. Bahkan jika hubungan yang “benar” ada, fitting terhadap noise dapat mengurangi ketahanan.

Risiko pihak lawan (input dan kendala yang tidak sepenuhnya dapat Anda kendalikan)

Dalam lingkungan yang mirip trading, ketidakpastian terkait pihak lawan dapat muncul sebagai perbedaan antara eksekusi yang diasumsikan dan yang terealisasi. Contoh ketidaksesuaian meliputi:

• Gesekan trading yang tidak direpresentasikan dalam evaluasi historis (spread, komisi, slippage).
• Kendala pada waktu order atau ketersediaan pengisian (fill).

Jika evaluasi mengabaikan faktor-faktor ini sambil menyetel model pada hasil historis, konfigurasi yang dipilih mungkin berkinerja buruk ketika kendala tersebut berlaku.

Risiko interpretasi (terlalu percaya diri dari metrik yang menyesatkan)

Overfitting menciptakan risiko interpretasi: orang mungkin mengacaukan “kualitas fitting” dengan validitas prediktif. Misalnya, berulang kali memilih konfigurasi terbaik setelah mengamati hasil historis dapat menggelembungkan performa yang tampak. Keterbatasan materialnya adalah bahwa kecocokan historis tidak membuktikan generalisasi di masa depan, terutama ketika banyak varian dicoba.

Bukti atau contoh logika (tanpa menjamin hasil tertentu)

Asumsikan Anda menguji 1.000 variasi strategi pada periode historis yang sama dan memilih yang berkinerja terbaik. Bahkan jika tidak ada satu pun variasi yang menangkap keunggulan berulang yang sebenarnya, beberapa akan tampak berhasil karena keacakan. Opsi yang dipilih kemudian bisa menjadi rapuh: periode waktu yang berbeda atau jendela data yang sedikit berbeda dapat menghilangkan kebetulan yang menghasilkan skor tinggi.

Mode kegagalan sederhana yang perlu diperiksa secara konseptual adalah sensitivitas: jika perubahan kecil pada input, rentang waktu, atau prapemrosesan menyebabkan perubahan besar pada perilaku, itu menunjukkan bahwa metode tersebut bergantung pada artefak tertentu.

Keterbatasan material, mode kegagalan, dan titik kendali independen

Overfitting tidak hanya tentang “seberapa baik kecocokannya,” tetapi tentang ketahanan terhadap perubahan. Keterbatasan dan risiko utama meliputi:

• Penangkapan noise: performa mungkin mencerminkan struktur acak dalam data pelatihan.
• Bias seleksi: memilih berulang kali berdasarkan hasil historis dapat melebih-lebihkan performa yang diharapkan.
• Pergeseran distribusi: rezim pasar dan kondisi pengukuran dapat berubah.
• Ketidaksesuaian evaluasi: asumsi backtest atau evaluasi offline dapat berbeda dari kendala nyata.

Titik kendali verifikasi independen yang dapat Anda gunakan bersifat konseptual, bukan jaminan: uji metode pada data yang tidak terlibat dalam penyetelan, bandingkan perilaku di berbagai jendela waktu yang berbeda, dan periksa sensitivitas terhadap asumsi prapemrosesan dan eksekusi. Karena biaya dan detail eksekusi bervariasi, hasil dapat berbeda dari hasil historis.

Verifikasi atau pertanyaan lanjutan yang perlu diajukan

Pertanyaan lanjutan yang berguna adalah: “Bukti apa yang akan menunjukkan bahwa model menggunakan hubungan yang stabil daripada hanya menyesuaikan noise?” Dalam praktiknya, ini berarti berfokus pada pemeriksaan ketahanan, asumsi evaluasi yang transparan, dan kejelasan tentang bagian mana dari alur kerja yang dapat berubah antara evaluasi historis dan penggunaan di masa depan.