Apa Saja Keterbatasan Backtesting EA?
Jawaban langsung
Backtesting EA adalah proses menjalankan penasihat ahli (EA) melalui data pasar historis untuk memperkirakan bagaimana kinerjanya di masa lalu. Keterbatasan utamanya adalah ketidakpastian: apa yang berhasil secara historis mungkin gagal di kemudian hari karena harga, likuiditas, volatilitas, dan friksi trading di masa depan dapat berbeda, dan karena pengaturan pengujian mungkin tidak mencerminkan eksekusi nyata.
Mekanisme dan apa yang diasumsikan
Backtesting biasanya melibatkan (1) aturan EA, (2) data harga historis, dan (3) serangkaian asumsi pemodelan tentang bagaimana order akan dieksekusi. Asumsi tersebut dapat mencakup bagaimana spread dan komisi berperilaku, apakah order dieksekusi pada harga yang ditampilkan atau setelah penundaan, dan bagaimana slippage ditangani. Bahkan jika logika EA stabil, pengujian hanya serealistis lingkungan pengujiannya.
Cara yang berguna untuk memikirkannya adalah pemisahan mekanisme yang stabil dari kondisi yang bervariasi:
- Mekanisme stabil: aturan keputusan EA dan logika pembuatan order.
- Kondisi bervariasi: rezim pasar, likuiditas, spread bid-ask, kecepatan eksekusi, dan biaya trading yang sebenarnya dikeluarkan.
Jika backtest memperlakukan kondisi bervariasi terlalu ideal (misalnya, menggunakan spread yang sama seperti yang ditampilkan grafik, atau mengabaikan slippage), hasil simulasi dapat berbeda secara sistematis dari apa yang akan terjadi ketika EA trading dengan kendala nyata.
Bukti atau contoh mengapa hal itu bisa gagal
Pertimbangkan backtest yang menunjukkan return kuat menggunakan bar historis. Dalam trading langsung, setidaknya ada tiga kategori perbedaan yang dapat muncul:
- Perbedaan data: feed historis mungkin tidak mewakili jalur harga persis yang ada tick demi tick.
- Perbedaan eksekusi: eksekusi bisa lebih buruk karena slippage, eksekusi parsial, atau latensi.
- Perbedaan lingkungan: EA mungkin bergantung pada kondisi volatilitas atau tren yang kemudian berubah.
Bahkan tanpa kesalahan “pengkodean” apa pun, perbedaan ini dapat mengubah waktu trading dan urutan entry/exit, yang sangat penting bagi strategi yang sensitif terhadap penempatan order dan struktur mikro pasar.
Keterbatasan dan risiko
Mode kegagalan material meliputi:
- Overfitting terhadap sejarah: EA dapat tampak dioptimalkan untuk pola masa lalu, sementara pasar masa depan mengikuti dinamika yang berbeda.
- Bias look-ahead dan kebocoran asumsi tersembunyi: pengaturan pengujian mungkin secara tidak sengaja menggunakan informasi yang tidak akan dimiliki EA pada saat itu.
- Bias survivorship dan seleksi: jika periode yang diuji dipilih karena terlihat menguntungkan, hasilnya mungkin tidak dapat digeneralisasi.
- Perkiraan biaya dan eksekusi yang terlalu rendah: perbedaan kecil dalam komisi, spread, dan slippage dapat memengaruhi profitabilitas secara material, terutama untuk strategi dengan frekuensi trading tinggi.
Keterbatasan utama adalah ketidaksesuaian antara “hubungan historis” dan “hasil masa depan.” Kinerja historis dapat mencerminkan banyak kondisi sementara; itu bukan bukti bahwa kondisi tersebut akan bertahan.
Verifikasi atau pertanyaan lanjutan
Untuk memverifikasi secara independen apa yang dapat dan tidak dapat dikatakan oleh backtest, fokuslah pada apakah pengaturan pengujian sesuai dengan batasan trading yang realistis: kualitas data, perlakuan terhadap spread dan komisi, serta bagaimana slippage dan waktu eksekusi order dimodelkan. Jika kinerja EA sangat bergantung pada asumsi yang sangat spesifik, maka backtest menjadi kurang berguna sebagai bukti.
Pertanyaan lanjutan yang baik adalah: “Input dan asumsi eksekusi mana yang paling banyak mengubah hasil trading, dan seberapa sensitif hasil terhadap variasi yang wajar dari asumsi-asumsi tersebut?”