Bagaimana Informasi tentang Definisi Backtesting Dapat Diverifikasi?

Definisikan backtesting sebelum mengevaluasi klaim

Backtesting adalah praktik menerapkan proses pengambilan keputusan yang telah ditentukan sebelumnya pada data historis untuk melihat bagaimana kinerjanya. Dalam hal verifikasi, langkah kunci pertama adalah mendefinisikan apa arti “telah ditentukan sebelumnya” dalam deskripsi spesifik yang Anda evaluasi: aturan harus ditetapkan sebelum Anda melihat hasil, dan input harus berupa data historis yang tersedia pada saat simulasi dilakukan.

Untuk memverifikasi definisi backtesting, pisahkan mekanisme yang stabil dari kondisi yang bervariasi. Mekanisme yang stabil adalah gagasan inti (terapkan aturan pada data masa lalu dan hitung hasilnya). Kondisi yang bervariasi mencakup data yang dipilih, asumsi tentang eksekusi, model biaya, metrik kinerja, dan keputusan seleksi apa pun yang dibuat selama pengembangan.

Bangun hierarki sumber untuk memeriksa definisi

Saat memverifikasi informasi tentang konsep ini, gunakan hierarki sumber sederhana yang memprioritaskan penjelasan yang tak lekang oleh waktu daripada detail penyedia atau pasar yang berubah:

1. Sumber referensi umum: definisi dalam materi pendidikan, buku teks, dan ringkasan metodologis. Ini membantu mengonfirmasi konsep dasar (uji aturan pada data historis).
2. Sumber dokumentasi metode: dokumen yang menjelaskan alur kerja backtesting, seperti cara menyusun input (deret waktu, stempel waktu kejadian), cara mensimulasikan pesanan, dan cara menghitung metrik.
3. Referensi utama atau otoritatif untuk klaim spesifik: jika informasi membuat klaim spesifik, terkini, atau terkait entitas (misalnya, tentang mesin backtesting platform tertentu), verifikasi terhadap dokumentasi paling langsung yang tersedia.

Dalam verifikasi yang tak lekang oleh waktu, Anda sering kali hanya memerlukan dua tingkat pertama. Jika penulis tidak dapat menyatakan mekanismenya dengan jelas, perlakukan detail tambahan sebagai belum terverifikasi.

Langkah verifikasi yang dapat direproduksi yang dapat Anda ulangi secara independen

Anda dapat memverifikasi definisi backtesting dengan memeriksa apakah deskripsi tersebut menyertakan detail yang cukup untuk mereproduksi logikanya. Gunakan daftar periksa ini:

1. Nyatakan asumsi: daftarkan data apa yang digunakan (termasuk kerangka waktunya dan bagaimana stempel waktu diselaraskan), apa yang menjadi input strategi/aturan, dan kapan keputusan dibuat.
2. Tentukan aturan dan parameter: verifikasi bahwa kumpulan aturan eksplisit dan parameter apa pun dinyatakan.
3. Definisikan metode simulasi: konfirmasikan bagaimana model mengubah sinyal menjadi hasil. Misalnya, apakah model mengasumsikan perdagangan terjadi pada harga berikutnya yang tersedia setelah waktu keputusan, atau pada waktu yang sama (yang dapat menyiratkan informasi yang seharusnya belum diketahui)?
4. Perhitungkan biaya dan gesekan praktis: definisi mungkin bersifat umum, tetapi klaim tentang kinerja harus menyertakan bagaimana biaya transaksi, spread, selip, atau efek serupa direpresentasikan.
5. Tetapkan metrik evaluasi: periksa bahwa definisi menyebutkan apa yang diukur (seperti pengembalian dari waktu ke waktu, penarikan, atau kesalahan relatif terhadap tolok ukur) dan bagaimana cara menghitungnya.
6. Lakukan pengulangan independen: jika deskripsi memberikan struktur yang cukup, Anda harus dapat menerapkan mekanisme yang sama pada periode historis yang sama dan mereproduksi hasil dalam arah yang sama.

Jika penulis tidak dapat menjawab poin-poin ini, konten tersebut mungkin masih menggunakan kata “backtesting,” tetapi mungkin tidak menggambarkan prosedur yang konsisten atau dapat diverifikasi.

Bukti atau pemeriksaan contoh yang memperkuat definisi

Cara yang membantu untuk menguji definisi adalah dengan mencari struktur “contoh minimal”. Contoh minimal menjelaskan:

• jendela historis yang kecil,
• kumpulan aturan yang tetap,
• pemetaan yang jelas dari waktu keputusan ke eksekusi simulasi,
• dan perhitungan metrik.

Bahkan tanpa data waktu nyata, Anda dapat memvalidasi apakah definisi tersebut konsisten secara internal dengan memeriksa kontradiksi waktu. Misalnya, jika deskripsi menggunakan harga masa depan untuk memutuskan perdagangan pada stempel waktu yang sama, itu adalah ketidakcocokan waktu. Pemeriksaan umum lainnya adalah apakah pendekatan mengubah aturan setelah melihat hasil, yang melemahkan arti “telah ditentukan sebelumnya.”

Keterbatasan dan mode kegagalan yang harus Anda verifikasi

Backtesting berguna untuk mempelajari suatu proses, bukan untuk menjamin hasil masa depan. Beberapa keterbatasan material dapat membatalkan atau mendistorsi kesimpulan berbasis backtesting:

• Bias pandangan ke depan: jika metode menggunakan informasi yang tidak akan tersedia saat keputusan dibuat. - Overfitting: jika parameter dan variasi aturan disetel ke pola historis yang tidak dapat digeneralisasi. - Pengintaian data: jika banyak variasi dicoba dan hanya versi yang tampak terbaik yang dilaporkan. - Kesenjangan realisme eksekusi: jika simulasi mengabaikan biaya, penundaan, likuiditas, atau selip yang akan berarti dalam kondisi langsung.