Pertimbangan lanjutan untuk overfitting

Definisi dan mengapa hal ini penting dalam praktik

Overfitting adalah kesalahan pemodelan di mana suatu metode mempelajari pola yang lebih cocok dengan data pelatihan daripada struktur yang mendasarinya—tetapi pola-pola tersebut tidak dapat digeneralisasi ke data baru yang belum terlihat. Gejala utamanya adalah perkiraan kinerja yang optimis: model tampak efektif selama pengembangan, namun perilakunya menurun ketika input atau kondisi berubah.

Dalam domain yang diurutkan berdasarkan waktu (termasuk banyak alur kerja bergaya keuangan), overfitting sangat mudah terjadi karena masa depan dapat berbeda dari masa lalu. Bahkan jika model menemukan hubungan yang benar secara historis, hubungan tersebut bisa rapuh. Selain itu, eksperimen yang berulang dapat secara tidak sengaja menyesuaikan pendekatan dengan sampel historis.

Mekanisme: bagaimana overfitting tercipta

Model sederhana yang berguna adalah memandang pipeline sebagai dua bagian:

1. Fleksibilitas model (berapa banyak cara model dapat menyesuaikan data), dan
2. Paparan terhadap informasi dalam proses pengembangan (seberapa sering Anda menyetel atau memilih berdasarkan kumpulan data yang sama).

Pertimbangan lanjutan dimulai dari mana fleksibilitas berasal.

• Terlalu banyak derajat kebebasan: menambahkan parameter, menggunakan transformasi fitur yang kompleks, atau membiarkan aturan menjadi lebih kondisional dapat meningkatkan peluang metode menyesuaikan noise.
• Beberapa loop penyetelan: jika Anda menyetel hiperparameter, pilihan prapemrosesan, dan kumpulan fitur secara berulang menggunakan periode historis yang sama, Anda secara efektif “melatih pada data uji,” bahkan jika Anda tidak pernah melatih estimator secara langsung pada label.
• Kebocoran melalui prapemrosesan: normalisasi, penskalaan, fitur look-ahead, atau transformasi terkait target yang dihitung menggunakan informasi masa depan dapat membuat periode pelatihan menjadi mudah secara artifisial.

Mekanisme kedua adalah optimasi implisit. Bahkan jika Anda percaya bahwa Anda “hanya menguji,” aturan keputusan apa pun yang memilih varian dengan kinerja terbaik berdasarkan hasil masa lalu membawa Anda menuju overfitting. Langkah seleksi tersebut mengubah makna evaluasi Anda.

Ketergantungan: apa yang harus tetap dikendalikan agar hasil dapat dibandingkan

Overfitting bukan hanya tentang model. Ini bergantung pada keseluruhan desain eksperimental dan asumsi yang Anda tanamkan.

Pemotongan data dan pembagian waktu

Untuk data yang diurutkan berdasarkan waktu, cara Anda membagi data sangat penting:

• Jika jendela pelatihan dan evaluasi tumpang tindih atau tidak dipisahkan secara ketat, evaluasi dapat terkontaminasi.
• Jika Anda menyetel pada satu sub-periode historis dan kemudian mengevaluasi pada sub-periode yang berbeda, Anda tetap perlu mempertimbangkan sub-periode mana yang Anda pilih dan apakah pilihan Anda dipengaruhi oleh kinerja.

Prapemrosesan dan rekayasa fitur

Perbedaan prapemrosesan kecil dapat menciptakan perubahan besar:

• Jendela penskalaan yang berbeda, aturan resampling yang berbeda, atau penanganan nilai yang hilang yang berbeda dapat mengubah hubungan yang dipelajari.
• Transformasi fitur dengan jendela bergerak harus dibangun sehingga hanya menggunakan informasi yang tersedia pada saat transformasi tersebut akan digunakan.

Biaya dan kendala

Bahkan ketika Anda tidak fokus pada mekanisme perdagangan, banyak pipeline menyertakan biaya dan kendala yang realistis (misalnya, biaya transaksi, penundaan eksekusi, atau ukuran perdagangan minimum). Overfitting dapat bersembunyi di dalam kumpulan asumsi:

• Sebuah model mungkin terlihat bagus di bawah asumsi biaya yang optimis.
• Atau mungkin bergantung pada pola yang hilang setelah biaya, efek seperti slippage, atau batasan eksekusi praktis diterapkan.

Bias seleksi dari eksperimen berulang

Peneliti sering menjalankan banyak konfigurasi kandidat. Jika Anda menyimpan yang terlihat terbaik dan membuang sisanya, hasil akhir bersifat kondisional pada kinerja tertinggi yang diamati dalam kumpulan kandidat. “Efek pemenang” ini dapat membuat model yang dipertahankan terlihat lebih kuat daripada yang sebenarnya.

Kasus tepi dan mode kegagalan

Beberapa kasus tepi lanjutan yang umum menyebabkan kesimpulan yang menyesatkan.

Non-stasioneritas (proses pembangkit data yang berubah)

Jika hubungan antara input dan hasil berubah seiring waktu, model yang disetel pada segmen yang lebih lama dapat menurun bahkan tanpa overfitting klasik. Perbedaannya penting: terkadang model tidak dapat digeneralisasi dengan baik karena dunia berubah, bukan karena model menghafal noise. Dalam praktiknya, kedua masalah dapat terjadi bersamaan.

Ilusi rasio sinyal-ke-noise yang tinggi

Ketika periode pelatihan mengandung pola yang luar biasa kuat (rezim sementara), model yang fleksibel dapat mengunci pola-pola tersebut. Kinerja kemudian runtuh ketika rezim tersebut memudar.

Optimasi berlebihan pada metrik

Memilih metrik yang selaras dengan keanehan jangka pendek dapat menyebabkan model mengoptimalkan tujuan yang salah. Misalnya, mengoptimalkan ukuran yang sensitif terhadap peristiwa langka dapat memilih kecocokan yang rapuh.

Ketidakcocokan data antara pelatihan dan evaluasi

Sebuah model dapat tampak kuat dalam pengujian terkontrol tetapi gagal dalam penerapan jika aliran input berbeda dari yang digunakan selama pengembangan (frekuensi pengambilan sampel yang berbeda, pola data hilang yang berbeda, jendela perhitungan indikator yang berbeda).

Ketidakstabilan parameter

Jika perubahan parameter kecil menghasilkan fluktuasi besar dalam hasil, model kemungkinan menangkap noise. Pendekatan yang kuat cenderung memiliki perilaku yang lebih halus di bawah gangguan kecil.

Keterbatasan dan risiko yang harus Anda akui secara eksplisit

Overfitting lebih mudah didiagnosis daripada dihilangkan sepenuhnya. Keterbatasan utama meliputi:

• Ketidakpastian kinerja masa depan: hasil historis tidak menetapkan hasil masa depan.
• Ketergantungan pada biaya dan eksekusi: evaluasi apa pun yang mengabaikan kendala praktis dapat melebih-lebihkan generalisasi.
• Tidak ada pembagian tunggal yang definitif: jendela waktu yang berbeda dapat menghasilkan hasil yang berbeda.

Mode kegagalan yang material adalah menyimpulkan bahwa karena sebuah model berkinerja baik pada evaluasi historis, model tersebut akan dapat digeneralisasi. Kesalahan ini terjadi ketika evaluasi bukan pemeriksaan “akhir” yang sebenarnya atau ketika pengujian ganda dan efek seleksi meningkatkan kesuksesan yang tampak.

Verifikasi: cara memeriksa generalisasi yang kuat secara independen

Untuk memverifikasi apakah overfitting kemungkinan mendorong hasil, gunakan pendekatan yang mengurangi ketergantungan tersembunyi pada data evaluasi.

1) Pertahankan uji akhir yang ketat

Gunakan alur kerja di mana:

• Anda menyetel dan memilih menggunakan satu kumpulan,
• Anda tidak mengubah pilihan berdasarkan periode evaluasi akhir,
• Evaluasi akhir digunakan hanya sekali.

2) Gunakan beberapa jendela evaluasi

Alih-alih satu holdout, pertimbangkan beberapa segmen evaluasi yang dipisahkan oleh waktu. Kinerja relatif yang konsisten di seluruh segmen adalah tanda generalisasi yang lebih kuat daripada satu periode yang menonjol.

3) Uji stres asumsi

Ulangi evaluasi di bawah variasi yang masuk akal yang mencerminkan ketidakpastian dalam pipeline Anda:

• Perubahan dalam jendela prapemrosesan (jika dapat dipertahankan)
• Asumsi biaya/kendala alternatif yang wajar
• Gangguan yang menguji stabilitas

Jika hasil sering berbalik, ketidakstabilan tersebut adalah sinyal risiko overfitting.

4) Lacak kompleksitas model versus kinerja

Bandingkan baseline dengan fleksibilitas yang lebih rendah terhadap varian yang lebih kompleks. Jika kompleksitas meningkatkan kecocokan pelatihan tetapi tidak stabilitas evaluasi, kesenjangan tersebut dapat menunjukkan overfitting.

5) Kuantifikasi sensitivitas

Ukur bagaimana kinerja berubah ketika Anda sedikit memvariasikan hiperparameter atau ketika Anda memvariasikan definisi fitur dengan cara yang terkendali. Sensitivitas yang besar adalah tanda peringatan.

Kesimpulan

Pertimbangan overfitting lanjutan kurang berfokus pada satu pilihan algoritmik tunggal dan lebih pada seluruh rantai eksperimental: pembagian data, integritas prapemrosesan, asumsi biaya dan kendala, pengujian ganda, dan stabilitas di bawah gangguan.