Bagaimana Ulcer Index dapat di-backtest secara bertanggung jawab?

Tentukan Ulcer Index sebelum Anda mengujinya

Ulcer Index adalah statistik berbasis drawdown. Secara konseptual, indikator ini merangkum seberapa jauh dan berapa lama suatu rangkaian harga berada di bawah puncak terkininya. Untuk keperluan backtesting, poin utamanya bukanlah labelnya, melainkan definisi persis yang Anda terapkan: “puncak” mana yang Anda jadikan acuan, seberapa sering Anda mengambil sampel data, jendela atau periode yang digunakan, dan bagaimana rangkaian drawdown dikonversi menjadi angka akhir.

Pendekatan yang bertanggung jawab dimulai dengan menuliskan perhitungan yang akan Anda reproduksi. Jika Anda tidak dapat menyatakan prosedur lengkapnya secara presisi, Anda tidak dapat mengujinya dengan andal. Perlakukan indikator sebagai alat ukur yang menghasilkan nilai dari input, bukan sebagai sinyal trading yang berdiri sendiri.

Pisahkan mekanisme yang stabil dari kondisi yang berubah-ubah

Akurasi backtesting sering gagal ketika orang mencampurkan mekanisme indikator dengan kondisi pasar dan eksekusi yang berubah.

Jaga hal-hal berikut tetap terpisah:

• Input indikator: rangkaian harga yang digunakan untuk menghitung drawdown, frekuensi resampling, dan jendela Ulcer Index.
• Lingkungan backtest: asumsi tentang kapan nilai “diketahui” (waktu), bagaimana order dieksekusi, dan friksi apa yang berlaku.
• Aturan keputusan (jika ada): bagaimana Anda akan mengubah output indikator menjadi metrik evaluasi.

Bahkan jika Anda tidak membangun aturan trading, Anda tetap perlu mendefinisikan sebuah tujuan. Misalnya, Anda dapat mengevaluasi apakah periode dengan Ulcer Index yang lebih tinggi bertepatan dengan drawdown yang lebih besar pada rangkaian yang mendasarinya. Itu adalah pemeriksaan hubungan, bukan peramalan.

Nyatakan asumsi untuk data dan biaya

Backtesting yang bertanggung jawab mendokumentasikan asumsi. Kategori asumsi yang umum meliputi:

1) Cakupan dan kontinuitas data

• Gunakan satu rangkaian historis yang konsisten.
• Tentukan apa yang dilakukan terhadap data yang hilang dan perubahan struktural atau korporasi (untuk FX, ini terutama tentang kontinuitas data dan bagaimana rangkaian tersebut dibangun).

2) Pengambilan sampel dan waktu

• Tentukan apakah Anda menghitung Ulcer Index pada penutupan bar, intrabar, atau menggunakan konvensi lain.
• Pastikan “waktu pengambilan keputusan” Anda tidak dapat menggunakan informasi dari setelah keputusan itu dibuat.

3) Biaya dan friksi Jika evaluasi Anda mencakup tindakan apa pun yang diambil dari indikator, sertakan friksi yang realistis dalam metrik evaluasi. Friksi material yang umum adalah spread, komisi, dan slippage. Bahkan jika tujuan Anda bersifat edukasional daripada berfokus pada kinerja, menyertakan biaya membantu mencegah hasil yang tampak kuat hanya karena biaya diabaikan.

Kendalikan bias dengan pemeriksaan kegagalan yang eksplisit

Bias adalah mode kegagalan utama dalam backtest indikator. Sertakan pemeriksaan yang secara khusus berupaya untuk mematahkan pengujian tersebut.

Bias look-ahead Pastikan nilai Ulcer Index yang digunakan pada waktu t hanya dihitung dari data yang tersedia hingga waktu t. Kesalahan yang sering terjadi adalah menghitung menggunakan seluruh jalur harga bar ketika keputusan hanya mungkin dilakukan pada penutupan bar.

Bias overfitting (pengujian ganda) Jika Anda mencoba banyak pengaturan parameter (panjang jendela, ambang batas, aturan), Anda dapat berakhir dengan memilih pengaturan yang cocok dengan noise. Batasi ruang pencarian, atau pisahkan pemilihan parameter dari evaluasi akhir.

Bias seleksi Hindari mengevaluasi hanya periode yang “berhasil” dengan baik. Gunakan periode evaluasi yang telah ditentukan sebelumnya atau prosedur walk-forward.

Cara praktis untuk melakukan ini secara bertanggung jawab adalah dengan membuat daftar periksa tentang apa yang bisa salah (kesalahan waktu, kebocoran parameter, dan kelalaian biaya) dan verifikasi masing-masing sebelum menafsirkan hasil apa pun.

Gunakan pemeriksaan out-of-sample untuk menguji ketahanan

Hubungan historis tidak menetapkan hasil masa depan. Untuk mengurangi kemungkinan bahwa temuan Anda hanyalah artefak dari satu periode, evaluasi pada data yang tidak digunakan untuk pemilihan parameter.

Struktur umum yang selalu relevan meliputi:

• Pemisahan train/validation/test: pilih parameter menggunakan data training dan konfirmasi hanya pada data validasi, lalu finalisasi pada data test.
• Evaluasi walk-forward (bergulir): perkirakan ulang parameter secara berulang hanya menggunakan data sebelumnya dan nilai pada periode berikutnya.

Tentukan satu metrik kinerja untuk evaluasi. Misalnya, jika Anda hanya mempelajari drawdown, Anda dapat membandingkan kedalaman drawdown yang terealisasi relatif terhadap level Ulcer Index. Jaga metrik tetap stabil di seluruh eksperimen.

Ketahui setidaknya satu keterbatasan material

Keterbatasan yang jelas adalah bahwa Ulcer Index memampatkan informasi drawdown menjadi satu angka. Hal ini dapat menyembunyikan detail distribusi. Dua periode dapat memiliki nilai Ulcer Index yang serupa sementara berbeda dalam kecepatan pemulihan, volatilitas di sekitar puncak, atau pengelompokan pergerakan ekstrem.

Selain itu, perilaku indikator dapat bervariasi berdasarkan rezim pasar. Jika backtest Anda hanya mencakup satu rezim (misalnya, sebagian besar kondisi tenang), hubungan tersebut mungkin tidak berlaku ketika kondisi berubah.