Jawaban langsung
Informasi tentang praktik backtesting dapat diverifikasi dengan memeriksa (1) metode persis apa yang digunakan, (2) input apa yang diasumsikan (data, biaya, aturan eksekusi), (3) apakah hasil dapat direproduksi dari input tersebut, dan (4) apakah mode kegagalan yang diketahui telah diuji. Sebuah klaim hanya bermakna jika cukup spesifik untuk dijalankan ulang dan cukup independen sehingga orang lain dapat mencapai kesimpulan yang sama dengan asumsi yang sama.
Definisi dan verifikasi “apa”
Praktik backtesting adalah proses mengevaluasi model trading atau aturan keputusan dengan menerapkannya pada data historis dan mensimulasikan apa yang seharusnya terjadi di bawah kumpulan aturan yang eksplisit. Verifikasi dimulai dengan memisahkan:
- Mekanika yang stabil: langkah-langkah algoritmik (logika entry/exit, aturan posisi, perhitungan risiko) dan prosedur perhitungan.
- Kondisi yang variabel: perilaku pasar dari waktu ke waktu, serta asumsi apa pun yang dapat mengubah hasil seperti spread, komisi, slippage, likuiditas, dan timing eksekusi.
Target verifikasi yang berguna adalah spesifikasi lengkap. Minimal, informasi harus menyatakan aturan keputusan mana yang diuji, periode data apa yang digunakan, bagaimana sinyal dihasilkan secara tepat waktu, dan bagaimana trade disimulasikan.
Bukti dan contoh pemeriksaan yang dapat Anda reproduksi
Gunakan hierarki sumber yang sesuai dengan cara klaim menjadi dapat diuji:
- Deskripsi metode utama: deskripsi asli dari prosedur backtesting (logika dan rumus).
- Transparansi input: sumber data historis dan langkah-langkah prapemrosesan (pembersihan, resampling, timestamp).
- Model eksekusi: aturan untuk bagaimana order seharusnya terisi (sumber harga, asumsi latensi, dan bagaimana biaya diterapkan).
- Jejak komputasi: detail yang cukup untuk mereproduksi metrik dari output mentah (daftar trade, perhitungan ukuran posisi, dan metode agregasi).
Langkah verifikasi yang dapat direproduksi:
- Langkah 1: Catat asumsi. Tulis semua asumsi yang memengaruhi hasil: zona waktu dan penyelarasan candle, apakah model menggunakan close vs open, biaya transaksi, dan apakah fill mengasumsikan harga bar yang sama tersedia.
- Langkah 2: Periksa timing peristiwa (look-forward vs look-back). Pastikan keputusan pada waktu t hanya menggunakan informasi yang seharusnya sudah diketahui pada waktu t. Kegagalan yang umum adalah menggunakan bar masa depan untuk membentuk fitur atau memutuskan entry.
- Langkah 3: Validasi logika eksekusi. Pastikan bagaimana model mengubah aturan keputusan menjadi trade: kapan posisi berubah, bagaimana biaya dipotong, dan apakah partial fill atau slippage diabaikan atau didekati.
- Langkah 4: Hitung ulang metrik dari log trade. Jika backtest hanya melaporkan statistik ringkasan, minta output trade-per-trade yang mendasarinya atau buat ulang dari rumus yang dinyatakan.
- Langkah 5: Jalankan uji sensitivitas. Ubah satu asumsi pada satu waktu dalam rentang yang wajar (misalnya, sedikit perbedaan asumsi biaya atau fill) dan konfirmasi apakah performa tetap kuat atau runtuh.
Keterbatasan material dan mode kegagalan yang perlu dicari secara eksplisit:
- Bias look-ahead (menggunakan informasi yang tidak tersedia pada waktu keputusan).
- Overfitting dan pengujian berulang (menyetel parameter sampai cocok dengan keunikan historis).
- Fill yang tidak realistis (mengasumsikan eksekusi sempurna tanpa efek likuiditas atau slippage).
- Bias seleksi (memilih periode yang menguntungkan setelah melihat hasil).
Karena hubungan historis tidak menjamin hasil di masa depan, verifikasi harus berfokus pada apakah metode tersebut konsisten secara internal dan apakah metode itu menunjukkan ketahanan terhadap perubahan asumsi yang masuk akal.
Keterbatasan dan risiko
Bahkan ketika backtesting dilakukan dengan hati-hati, hasil tetap bergantung pada asumsi yang dinyatakan. Biaya, timing eksekusi, dan struktur mikro pasar dapat berbeda secara substansial antar periode, dan perbedaan kecil dalam pemodelan dapat menghasilkan perubahan metrik yang besar. Oleh karena itu, verifikasi tidak boleh menganggap backtest yang kuat sebagai bukti performa masa depan; itu adalah bukti bahwa sebuah metode dapat berperilaku dengan cara tertentu di bawah kondisi simulasi tertentu.
Daftar periksa verifikasi dan pertanyaan berikutnya
Untuk memverifikasi klaim backtest secara independen, pastikan bahwa semua hal berikut dinyatakan dengan jelas dan dapat dijalankan ulang:
- Cakupan data dan detail prapemrosesan.
- Logika keputusan yang tepat dan bagaimana itu dipetakan ke order.
- Asumsi timing eksekusi dan bagaimana harga untuk fill dipilih.
- Asumsi biaya dan bagaimana itu diterapkan per trade.
- Output yang dapat direproduksi (setidaknya log trade atau jejak perhitungan).
Jika ada salah satu dari item ini yang hilang, Anda masih bisa menilai klaim secara kualitatif, tetapi Anda tidak dapat memverifikasinya sepenuhnya. Pertanyaan berikutnya yang perlu diajukan adalah: Apakah backtest yang sama dapat direproduksi end-to-end hanya menggunakan informasi yang diberikan, tanpa menambahkan asumsi tersembunyi?