Bagaimana Frama dapat di-backtest secara bertanggung jawab?

Apa yang dimaksud dengan “backtesting yang bertanggung jawab” untuk Frama

Backtesting adalah cara untuk mempelajari bagaimana sebuah aturan berbasis indikator mungkin berperilaku pada data harga historis. Backtesting yang “bertanggung jawab” tidak mengklaim kinerja masa depan. Sebaliknya, backtesting membangun pengujian yang transparan dan dapat diulang yang (1) mendefinisikan input dan pengaturan indikator, (2) memodelkan biaya dan eksekusi secara realistis, (3) membatasi bias dan overfitting, serta (4) memeriksa apakah hasil bertahan pada data baru di luar periode yang digunakan untuk merancang pengujian.

Secara khusus untuk Frama, Anda harus terlebih dahulu memahaminya sebagai moving average yang perilakunya bergantung pada struktur pasar yang ditangkap dari variasi harga. Oleh karena itu, backtesting apa pun harus mendokumentasikan bagaimana Anda menghitung input moving average dan bagaimana Anda mengubah nilai indikator menjadi sebuah aturan—tanpa berasumsi bahwa nilai indikator secara otomatis sama dengan sinyal trading.

Mekanisme: definisikan data, asumsi, dan bagaimana Frama digunakan dalam pengujian

Mulailah dengan menuliskan setiap asumsi yang memengaruhi angka-angka:

• Definisi data: instrumen apa (pasangan FX umum), timeframe apa (misalnya, bar per jam), zona waktu apa, dan apakah rangkaian data disesuaikan untuk aksi korporasi (biasanya kurang relevan untuk FX dibandingkan saham, tetapi prinsipnya sama).
• Pengaturan indikator: parameter Frama dan jendela lookback apa pun. Backtesting harus menjaga pengaturan ini tetap tetap kecuali Anda secara eksplisit menjalankan pencarian parameter.
• Aturan komputasi: apakah indikator dihitung menggunakan harga penutupan bar yang sama yang nantinya Anda evaluasi, dan bagaimana Anda menangani bar-bar awal di mana indikator membutuhkan riwayat pemanasan (warm-up).
• Definisi aturan: jika Anda mengevaluasi “kualitas sinyal,” definisikan logika keputusan yang tepat (misalnya, apakah pengujian mengevaluasi perilaku persilangan, thresholding, atau filter rezim). Jangan perlakukan “arah indikator” sebagai sinyal mandiri yang universal.

Selanjutnya, modelkan biaya dan eksekusi dengan cara yang sesuai dengan asumsi Anda. Bahkan tanpa spread real-time, Anda dapat menyertakan istilah friksi sebagai placeholder konstan (misalnya, biaya transaksi tetap per entry dan exit) dan nyatakan bahwa ini adalah asumsi.

Biaya yang perlu dipertimbangkan dalam kerangka kerja yang sama:

• Biaya transaksi (komisi, biaya).
• Model bid/ask spread atau slippage (bagaimana Anda memperkirakan perbedaan antara harga berbasis bar dan harga trading).
• Waktu order (apakah Anda berasumsi eksekusi pada pembukaan bar berikutnya, pada penutupan, atau dengan penundaan tetap).

Terakhir, pilih metrik yang mencerminkan pertanyaan yang Anda ajukan. Contohnya termasuk proksi kinerja yang disesuaikan dengan risiko, drawdown maksimum, tingkat keberhasilan (hit rate), atau rata-rata pergerakan merugikan (average adverse excursion). Kuncinya adalah mendefinisikan metrik sebelum Anda menjalankan pengujian.

Bukti dan contoh: bagaimana merancang pemeriksaan yang mengurangi bias

Mode kegagalan yang umum dalam backtesting indikator adalah overfitting: pengujian menemukan konfigurasi yang cocok dengan satu periode historis tetapi tidak dapat digeneralisasi.

Dua pendekatan praktis untuk mengendalikan bias:

1. Validasi walk-forward (bergulir)

   • Bagi riwayat menjadi beberapa segmen berurutan.
   • Gunakan segmen sebelumnya untuk memilih atau mengonfirmasi pengaturan, lalu evaluasi pada segmen berikutnya.
   • Ulangi dan agregasikan hasil.

2. Holdout out-of-sample yang ketat

   • Cadangkan periode akhir yang tidak pernah digunakan untuk memilih parameter atau menyusun aturan.
   • Hanya setelah aturan ditetapkan, Anda mengevaluasi pada holdout.

Jika Anda melakukan eksplorasi parameter (misalnya, memvariasikan pilihan lookback Frama), pisahkan tindakan “menemukan” dari tindakan “mengukur.” Alur kerja yang bertanggung jawab memperlakukan langkah pengukuran sebagai pengujian akhir generalisasi.

Uji juga stabilitas:

• Periksa apakah kinerja sangat bergantung pada satu rezim.
• Ulangi evaluasi di beberapa periode waktu dan, jika memungkinkan, di beberapa instrumen.
• Bandingkan hasil dengan benchmark sederhana (seperti baseline pasif) untuk menafsirkan apakah peningkatan apa pun berbeda secara bermakna dari apa yang dapat dicapai pendekatan dasar.

Keterbatasan dan mode kegagalan yang harus diperlakukan sebagai informasi kelas satu

Hasil backtesting historis tidak pasti. Keterbatasan penting meliputi:

• Ketergantungan pada rezim pasar: struktur indikator mungkin hanya berfungsi ketika karakteristik volatilitas dan tren cocok dengan periode yang digunakan dalam pengujian.
• Ketidakcocokan biaya dan eksekusi: perubahan kecil dalam asumsi biaya transaksi, slippage, atau waktu dapat membalikkan kesimpulan, terutama untuk strategi dengan perubahan yang sering.
• Artefak data: perbedaan dalam pengambilan sampel, bar yang hilang, vendor data yang berbeda, atau konstruksi bar yang tidak konsisten dapat mengubah hasil.
• Pemanasan indikator dan efek tepi: inisialisasi bar awal dapat membiaskan hasil jika tidak ditangani secara konsisten.
• Perbandingan ganda dan derajat kebebasan peneliti: jika Anda mencoba banyak pengaturan parameter dan mencari yang “terbaik,” Anda meningkatkan kemungkinan menemukan pola secara kebetulan.