Overfitting dalam Backtesting Forex & Forward Testing

Apa itu overfitting?

Overfitting adalah situasi di mana sebuah model menyesuaikan detail data historis dengan sangat erat sehingga berhenti mewakili perilaku mendasar yang dapat digunakan kembali. Alih-alih mempelajari hubungan umum yang dapat bertahan dalam kondisi pasar baru, model justru mempelajari pola-pola yang spesifik untuk sampel tersebut.

Dalam backtesting forex, overfitting sering muncul sebagai kinerja yang kuat pada periode historis yang digunakan untuk membangun atau menyetel model. Namun, ketika model yang sama dievaluasi pada data kemudian (di luar sampel)—misalnya selama forward testing—hasilnya dapat memburuk. Ketidaksesuaian itulah tanda peringatan inti: hasil backtest yang baik saja tidak menjamin model dapat melakukan generalisasi.

Bagaimana overfitting bekerja dalam backtesting dan forward testing

Alur kerja umum untuk strategi algoritmik meliputi:

• Memilih input (misalnya, indikator atau fitur yang diturunkan dari data harga)
• Memilih aturan atau parameter (misalnya, ambang batas, panjang lookback, atau filter)
• Mengevaluasi kinerja pada data historis (backtesting)
• Memeriksa kinerja pada data baru (forward testing)

Overfitting muncul ketika proses penyetelan mengoptimalkan model untuk dataset historis, bukan untuk data masa depan. Hal ini dapat terjadi melalui beberapa mekanisme:

1) Kompleksitas dan fleksibilitas model

Model yang lebih fleksibel dapat menangkap lebih banyak struktur, termasuk noise. Dalam forex, noise adalah variasi harga yang tidak teratur dan tidak berulang secara andal. Pengaturan yang sangat fleksibel dapat menghasilkan kecocokan yang lebih baik terhadap fluktuasi masa lalu, meskipun fluktuasi tersebut tidak memiliki penyebab yang stabil.

2) Terlalu banyak derajat kebebasan

“Derajat kebebasan” berarti jumlah pilihan yang dapat disesuaikan dalam proses pemodelan. Jika Anda berulang kali menyesuaikan pengaturan untuk meningkatkan hasil yang diukur pada periode historis yang sama, Anda secara efektif mencari kombinasi yang berhasil secara kebetulan.

3) Penggunaan berulang data evaluasi yang sama

Jika Anda menggunakan periode backtesting yang sama berulang kali untuk menyempurnakan parameter, Anda berisiko mengkontaminasi evaluasi. Data historis menjadi bagian dari loop pengambilan keputusan, sehingga kinerja yang dilaporkan dapat mencerminkan pembelajaran tentang periode spesifik tersebut.

4) Tekanan seleksi menuju hasil yang paling menguntungkan

Jika alur kerja mencakup langkah pencarian atau optimasi (bahkan secara manual), Anda meningkatkan kemungkinan bahwa setidaknya beberapa set parameter akan terlihat menjanjikan dalam catatan historis. Overfitting adalah situasi di mana hasil yang “menjanjikan” tersebut tidak bertahan.

Keterbatasan dan risiko: apa yang bisa salah

Metrik backtest bisa menyesatkan

Backtesting mengukur perilaku model pada sampel historis. Jika model telah mempelajari noise spesifik sampel, backtest mungkin menunjukkan profitabilitas, metrik risiko yang kuat, atau pertumbuhan ekuitas yang mulus. Tetapi ini adalah pengamatan yang bergantung pada sampel.

Forward testing menambahkan ketidakpastian secara real-time: rezim pasar berubah, kondisi likuiditas dan volatilitas bergeser, dan model mungkin bereaksi berbeda dari yang terjadi di masa lalu.

Generalisasi tidak dijamin

Bahkan jika sebuah model berkinerja baik di luar sampel, model tersebut masih bisa gagal kemudian. Overfitting dapat mengurangi generalisasi, tetapi pasar juga dapat berevolusi dengan cara yang memengaruhi strategi apa pun. Karena kondisi masa depan tidak diketahui, risiko overfitting harus diperlakukan sebagai masalah probabilitas, bukan kepastian.

Optimasi dapat “menyembunyikan” overfitting

Sebuah model mungkin masih terlihat dapat diterima pada satu segmen holdout sementara gagal pada segmen masa depan lainnya. Ini terjadi ketika holdout tidak representatif atau ketika keacakan menghasilkan jendela yang menguntungkan.

Membandingkan pendekatan evaluasi: backtesting vs forward testing

Kedua pendekatan berguna, tetapi keduanya menjawab pertanyaan yang berbeda.

Backtesting (dalam sampel dan mendekati sampel)

• Kelebihan: Ini dapat mengungkapkan bagaimana strategi berperilaku pada data historis yang diketahui.
• Keterbatasan: Ini dapat memberi penghargaan pada model yang cocok dengan noise.
• Risiko utama: Kinerja dapat mencerminkan keputusan penyetelan daripada struktur yang dapat diulang.

Forward testing (di luar sampel selama periode berikutnya)

• Kelebihan: Ini mengukur perilaku pada data yang tidak digunakan model selama penyetelan.
• Keterbatasan: Hasil masih bergantung pada sampel; satu jendela forward mungkin tidak mewakili variabilitas masa depan.
• Risiko utama: Jika periode evaluasi terlalu pendek atau tidak beragam, Anda dapat melewatkan masalah stabilitas yang sebenarnya.

Pencegahan overfitting bergantung pada pemisahan

Cara praktis untuk memikirkannya adalah: semakin banyak data evaluasi yang tumpang tindih dengan keputusan penyetelan, semakin tinggi risiko bahwa perbaikan disebabkan oleh penyesuaian spesifik sampel.

Bagaimana mengevaluasi apakah sebuah model mengalami overfitting

Daripada mengandalkan satu angka, gunakan pemeriksaan konsistensi. Karena overfitting berkaitan dengan generalisasi yang buruk, carilah stabilitas lintas kondisi dan waktu.

Pemeriksaan independen yang umum meliputi:

• Beberapa pembagian waktu: Evaluasi pada lebih dari satu periode di luar sampel.
• Sensitivitas terhadap pengaturan: Jika perubahan parameter kecil secara drastis mengubah hasil, itu dapat menunjukkan kerapuhan.
• Mengurangi ketergantungan pada satu rezim pasar: Strategi yang hanya berfungsi selama satu jenis lingkungan volatilitas mungkin mengalami overfitting.
• Menghindari penyetelan berulang pada periode yang sama: Jaga pemisahan yang bersih antara penyetelan dan evaluasi akhir.

Ketidakpastian tetap ada: bahkan evaluasi yang kuat pun masih dapat diikuti oleh kinerja masa depan yang lebih lemah. Tujuannya bukan untuk menghilangkan ketidakpastian, tetapi untuk mengurangi kemungkinan bahwa hasil historis berasal dari penyesuaian terhadap noise.

Mengapa overfitting penting dalam forex

Forex ditandai oleh volatilitas yang berubah, spread yang bervariasi, dan dinamika pasar yang bergeser seiring waktu. Perubahan ini meningkatkan kesulitan untuk menemukan hubungan yang benar-benar stabil.

Jika overfitting ada, sebuah strategi mungkin tampak efektif selama pengembangan dan kemudian menurun ketika pasar memasuki rezim baru. Kesenjangan antara keberhasilan historis yang diamati dan kinerja selanjutnya itulah yang dijelaskan oleh overfitting.

Jika Anda menginginkan konteks yang lebih dalam, Anda dapat membaca ringkasan terkait tentang backtesting forex & forward testing dan juga materi terpisah yang berfokus pada keterbatasan overfitting.