Bagaimana informasi tentang Praktik Backtesting dapat diverifikasi?

Jawaban langsung

Informasi tentang praktik backtesting dapat diverifikasi dengan memeriksa (1) metode pasti apa yang digunakan, (2) input apa yang diasumsikan (data, biaya, aturan eksekusi), (3) apakah hasil dapat direproduksi dari input tersebut, dan (4) apakah mode kegagalan yang diketahui telah diuji. Suatu klaim hanya bermakna jika cukup spesifik untuk dijalankan ulang dan cukup independen sehingga orang lain dapat mencapai kesimpulan yang sama di bawah asumsi yang sama.

Definisi dan verifikasi “apa”

Praktik backtesting adalah proses mengevaluasi model trading atau aturan keputusan dengan menerapkannya pada data historis dan mensimulasikan apa yang akan terjadi di bawah seperangkat aturan yang eksplisit. Verifikasi dimulai dengan memisahkan:

• Mekanika yang stabil: langkah-langkah algoritmik (logika entry/exit, aturan posisi, perhitungan risiko) dan prosedur perhitungan.
• Kondisi yang bervariasi: perilaku pasar dari waktu ke waktu, dan asumsi apa pun yang dapat mengubah hasil seperti spread, komisi, slippage, likuiditas, dan waktu eksekusi.

Target verifikasi yang berguna adalah spesifikasi yang lengkap. Paling tidak, informasi harus menyatakan aturan keputusan mana yang diuji, periode data apa yang digunakan, bagaimana sinyal dihasilkan dalam waktu, dan bagaimana trading disimulasikan.

Bukti dan contoh pemeriksaan yang dapat Anda reproduksi

Gunakan hierarki sumber yang sesuai dengan cara klaim menjadi dapat diuji:

1. Deskripsi metode utama: deskripsi asli prosedur backtesting (logika dan rumus).
2. Transparansi input: sumber data historis dan langkah-langkah prapemrosesan (pembersihan, resampling, stempel waktu).
3. Model eksekusi: aturan tentang bagaimana order akan terisi (sumber harga, asumsi latensi, dan bagaimana biaya diterapkan).
4. Jejak perhitungan: detail yang cukup untuk mereproduksi metrik dari keluaran mentah (daftar trading, perhitungan ukuran posisi, dan metode agregasi).

Langkah-langkah verifikasi yang dapat direproduksi:

• Langkah 1: Catat asumsi. Tuliskan setiap asumsi yang memengaruhi hasil: zona waktu dan penyelarasan candle, apakah model menggunakan close vs open, biaya transaksi, dan apakah pengisian mengasumsikan harga bar yang sama tersedia.
• Langkah 2: Periksa waktu kejadian (look-forward vs look-back). Pastikan bahwa keputusan pada waktu t hanya menggunakan informasi yang akan diketahui pada waktu t. Kegagalan umum adalah menggunakan bar masa depan untuk membentuk fitur atau memutuskan entry.
• Langkah 3: Validasi logika eksekusi. Konfirmasikan bagaimana model mengubah aturan keputusan menjadi trading: kapan posisi berubah, bagaimana biaya dipotong, dan apakah pengisian parsial atau slippage diabaikan atau diperkirakan.
• Langkah 4: Hitung ulang metrik dari log trading. Jika backtest hanya melaporkan statistik ringkasan, mintalah keluaran perdagangan demi perdagangan yang mendasarinya atau buat ulang dari rumus yang dinyatakan.
• Langkah 5: Jalankan uji sensitivitas. Ubah satu asumsi pada satu waktu dalam rentang yang wajar (misalnya, asumsi biaya atau pengisian yang sedikit berbeda) dan konfirmasikan apakah kinerja kuat atau runtuh.

Keterbatasan material dan mode kegagalan yang harus dicari secara eksplisit:

• Bias look-ahead (menggunakan informasi yang tidak tersedia pada saat keputusan).
• Overfitting dan pengujian berulang (menyesuaikan parameter hingga cocok dengan keanehan historis).
• Pengisian yang tidak realistis (mengasumsikan eksekusi sempurna tanpa efek likuiditas atau slippage).
• Bias seleksi (memilih periode yang menguntungkan setelah melihat hasil).

Karena hubungan historis tidak menjamin hasil masa depan, verifikasi harus fokus pada apakah metode tersebut konsisten secara internal dan apakah metode tersebut menunjukkan ketahanan terhadap perubahan asumsi yang masuk akal.

Keterbatasan dan risiko

Bahkan ketika backtesting dilakukan dengan hati-hati, hasil tetap bersyarat pada asumsi yang dinyatakan. Biaya, waktu eksekusi, dan struktur mikro pasar dapat berbeda secara substansial antar periode, dan perbedaan pemodelan kecil dapat menghasilkan perubahan metrik yang besar. Oleh karena itu, verifikasi tidak boleh memperlakukan backtest yang kuat sebagai bukti kinerja masa depan; itu adalah bukti bahwa suatu metode dapat berperilaku dengan cara tertentu di bawah kondisi simulasi tertentu.

Daftar periksa verifikasi dan pertanyaan berikutnya

Untuk memverifikasi klaim backtest secara independen, konfirmasikan bahwa semua hal berikut dinyatakan dengan jelas dan dapat dijalankan ulang:

1. Cakupan data dan detail prapemrosesan.
2. Logika keputusan yang tepat dan bagaimana logika tersebut dipetakan ke order.
3. Asumsi waktu eksekusi dan bagaimana harga untuk pengisian dipilih.
4. Asumsi biaya dan bagaimana biaya tersebut diterapkan per trading.
5. Keluaran yang dapat direproduksi (setidaknya log trading atau jejak perhitungan).

Jika salah satu item ini hilang, Anda masih dapat menilai klaim secara kualitatif, tetapi Anda tidak dapat memverifikasinya sepenuhnya. Pertanyaan berikutnya yang harus diajukan adalah: Dapatkah backtest yang sama direproduksi dari awal hingga akhir hanya dengan menggunakan informasi yang diberikan, tanpa menambahkan asumsi tersembunyi?