Apa Itu Overfitting? (Dalam Backtesting Forex dan Pembuatan Model)

Definisi overfitting

Overfitting adalah ketika sebuah model (seperti aturan trading, model sinyal, atau prediktor statistik) terlalu cocok dengan keanehan data historis. Secara sederhana, model tersebut mempelajari pola yang spesifik untuk masa lalu dan mungkin tidak muncul lagi di kemudian hari. Ide utamanya adalah perbedaan antara mempelajari hubungan yang sebenarnya dan menghafal fitur kebetulan (sering disebut “noise”).

Cara kerja overfitting dalam forex

Dalam alur kerja forex, Anda sering memperkirakan sebuah aturan menggunakan data harga historis, lalu mengevaluasinya pada data tambahan. Overfitting biasanya muncul ketika aturan menjadi terlalu kompleks relatif terhadap jumlah dan kualitas informasi dalam kumpulan data.

Model sederhana yang umum adalah: pilih parameter untuk memaksimalkan kinerja selama backtesting (misalnya, memilih pengaturan yang menghasilkan return tertinggi pada sejarah tertentu). Jika terlalu banyak fleksibilitas yang digunakan—terlalu banyak parameter yang dapat disesuaikan, terlalu banyak variasi yang dicoba, atau penyesuaian berulang pada kumpulan data yang sama—model dapat secara efektif “menjelaskan” pergerakan acak, bukan perilaku yang stabil.

Bahkan jika backtest menggunakan segmen yang berbeda, overfitting masih bisa terjadi melalui pilihan yang secara implisit menggunakan informasi historis lebih dari yang dimaksudkan. Contohnya termasuk mengubah desain secara berulang berdasarkan hasil backtest yang diamati, atau membandingkan banyak model kandidat dan memilih yang terlihat terbaik pada periode historis. Setiap langkah seleksi dapat memiringkan hasil ke arah masa lalu.

Konsep terkait yang sering membingungkan

Overfitting berbeda dari masalah terkait berikut:

• Underfitting: model terlalu sederhana untuk menangkap struktur yang bermakna, sehingga kinerjanya buruk bahkan pada data pelatihan.
• Kebocoran data: informasi yang digunakan selama pembuatan model secara tidak sengaja mencakup informasi masa depan (misalnya, menggunakan statistik yang dihitung dengan data yang tidak akan tersedia pada saat pengambilan keputusan). Overfitting adalah tentang penyesuaian yang berlebihan; kebocoran adalah tentang waktu informasi yang salah.
• Perubahan rezim: lingkungan pasar berubah sehingga hubungan historis melemah. Perubahan rezim dapat menyebabkan kelemahan di luar sampel bahkan tanpa overfitting, jadi Anda tidak boleh berasumsi bahwa yang satu menyebabkan yang lain.

Bukti dan contoh konkret (dengan asumsi yang jelas)

Asumsikan Anda memiliki deret historis dan sebuah aturan dengan satu ambang batas yang dapat disesuaikan. Jika Anda mencoba banyak ambang batas dan memilih yang memiliki skor backtest tertinggi, Anda melakukan bentuk “pencarian.” Dengan pencarian yang cukup, ambang batas yang terlihat terbaik dapat mencerminkan keacakan yang khusus untuk jendela historis.

Untuk memeriksa ini, Anda memerlukan evaluasi yang tidak digunakan selama seleksi. Jika aturan tetap kuat pada data yang benar-benar belum terlihat, itu lebih konsisten dengan pola yang stabil. Jika kinerja runtuh, itu menunjukkan bahwa kesuksesan historis mungkin didorong oleh penyesuaian terhadap noise.

Keterbatasan dan mode kegagalan

Overfitting bukan satu-satunya alasan backtest bisa gagal. Keterbatasan material meliputi:

• Biaya transaksi dan efek eksekusi: biaya riil, slippage, dan pemenuhan sebagian dapat berbeda dari asumsi backtest. Perbedaan ini dapat membuat model yang sebelumnya bagus terlihat buruk, bahkan jika overfitting minimal.
• Non-stasioneritas: dinamika forex dapat berubah seiring waktu. Aturan yang “baik” bisa berhenti bekerja karena hubungan yang mendasarinya bergeser.
• Bias seleksi dari pengujian berulang: setiap putaran penyesuaian meningkatkan peluang bahwa Anda memilih artefak historis.
• Metrik yang berlebihan: beberapa ukuran kinerja bisa sensitif terhadap sejumlah kecil trade outlier, memberikan kesan ketahanan yang menyesatkan.

Karena hasil bervariasi dengan kondisi pasar, asumsi, biaya, dan kualitas eksekusi, Anda tidak dapat menyimpulkan bahwa sebuah model akan menggeneralisasi hanya karena skornya bagus secara historis.

Cara memverifikasi apakah overfitting ada

Anda dapat menilai overfitting secara independen menggunakan praktik pemeriksaan model secara umum:

1. Gunakan tes out-of-sample yang ketat yang tidak dikonsultasikan selama pemilihan parameter.
2. Kendalikan kompleksitas model dengan mengurangi jumlah derajat kebebasan bila memungkinkan.
3. Minimalkan penyesuaian berulang pada data evaluasi; perlakukan seleksi dan evaluasi sebagai langkah terpisah.
4. Adopsi asumsi realistis yang konsisten dengan apa yang akan diketahui dan dapat dieksekusi pada saat itu.

Jika keunggulan nyata sebuah model menyusut secara substansial ketika diuji pada data yang benar-benar belum terlihat, itu konsisten dengan overfitting. Jika kinerja serupa di seluruh periode yang belum terlihat, overfitting cenderung lebih kecil kemungkinannya—tetapi tidak pernah sepenuhnya dihilangkan, karena perilaku masa depan dan kualitas data tetap tidak pasti.