Keterbatasan Pengujian Di Luar Sampel

Jawaban langsung

Pengujian di luar sampel dimaksudkan untuk memperkirakan seberapa baik suatu model atau aturan dapat bekerja pada data yang belum pernah dilihatnya selama proses penyesuaian. Keterbatasan utamanya adalah bahwa data historis yang “tidak terlihat” tetap tidak sama dengan kondisi masa depan yang sebenarnya. Bahkan ketika hasil di luar sampel terlihat kuat, kesalahan dapat tetap terjadi karena perubahan perilaku pasar, asumsi yang tidak sempurna (terutama seputar biaya dan eksekusi), serta pilihan dalam cara pembagian data dan evaluasi dilakukan.

Mekanisme dan definisi

Alur kerja yang umum adalah: (1) menyesuaikan model atau aturan keputusan menggunakan periode pelatihan, (2) mengujinya pada periode di luar sampel yang tidak digunakan model untuk pemilihan parameter, dan (3) membandingkan metrik seperti rata-rata pengembalian, penarikan (drawdown), atau ukuran seperti akurasi (untuk klasifikasi). Tujuannya adalah untuk mendeteksi overfitting: kecenderungan suatu aturan untuk mencocokkan noise dalam set pelatihan.

Pengujian di luar sampel mengurangi satu risiko spesifik—menggunakan kembali data yang sama untuk menyetel dan mengevaluasi. Namun, ini tidak menghilangkan sumber ketidakpastian lainnya. Pengujian tetap bergantung pada asumsi tentang apa yang tersedia pada saat itu, bagaimana perdagangan akan dieksekusi, dan apakah hubungan statistik di masa lalu akan bertahan.

Untuk membuat perhitungan apa pun dapat diinterpretasikan, Anda harus menyatakan asumsi. Misalnya: jendela waktu pasti apa yang mendefinisikan pelatihan versus pengujian, apakah ada jendela yang tumpang tindih, bagaimana Anda menangani data yang hilang, dan biaya serta slippage eksekusi apa yang dimodelkan (atau diabaikan). Tanpa detail tersebut, dua orang dapat mendeskripsikan eksperimen yang berbeda sambil menggunakan frasa yang sama.

Bukti atau contoh (mode kegagalan)

Pertimbangkan sebuah aturan yang tampak stabil ketika diuji pada satu interval di luar sampel. Beberapa mode kegagalan material masih dapat terjadi:

1. Pergeseran data (perubahan rezim): Jika volatilitas, likuiditas, spread, atau dinamika harga tipikal berubah setelah periode di luar sampel, model dapat melakukan ekstrapolasi secara tidak benar. Data historis yang “tidak terlihat” tidak menjamin cakupan rezim masa depan.

2. Efek seleksi tersembunyi: Bahkan dengan pembagian pelatihan/pengujian yang bersih, Anda dapat secara tidak sengaja memilih konfigurasi yang “terlihat terbaik” dengan mencoba banyak varian dan kemudian berfokus pada varian yang berkinerja terbaik di luar sampel. Hasilnya bisa optimistis karena evaluasi menjadi bagian dari proses seleksi.

3. Ketidakcocokan metrik evaluasi: Sebuah model dapat memperoleh skor baik pada metrik yang tidak mencerminkan kendala nyata. Misalnya, sebuah strategi mungkin menunjukkan kinerja rata-rata yang dapat diterima tetapi masih bergantung pada peristiwa langka yang sulit dieksekusi secara andal.

4. Ketidakpastian biaya dan eksekusi: Backtesting sering menggunakan asumsi yang disederhanakan. Hasil nyata dapat berbeda ketika Anda menyertakan spread realistis, komisi, efek pembiayaan/semalam, latensi, perilaku pemenuhan pesanan, atau manajemen risiko yang konservatif. Pengujian di luar sampel mungkin konsisten secara internal dengan asumsinya sendiri namun tetap salah menggambarkan kondisi pasar langsung.

5. Keterbatasan ukuran sampel: Jika jendela di luar sampel pendek, estimasi kinerja memiliki varians tinggi. Hasil yang tampaknya andal bisa menjadi hasil kebetulan.

Keterbatasan dan risiko

Keterbatasan tersebut paling baik dirangkum sebagai serangkaian masalah “apa yang tidak Anda kendalikan”:

• Hubungan historis mungkin tidak bertahan. Pengujian di luar sampel mengukur ketergantungan pada pola masa lalu, bukan keniscayaan di masa depan.
• Asumsi bersifat variabel. Biaya, eksekusi, dan detail operasional sering menjadi perbedaan terbesar antara backtest dan kenyataan.
• Ketidakpastian tetap ada bahkan tanpa overfitting. Menghilangkan overfitting pada set pelatihan tidak menjamin generalisasi di bawah pergeseran distribusi.
• Hasil bisa rapuh. Kinerja dapat bergantung pada pembagian yang tepat, langkah prapemrosesan yang tepat, dan cara simulasi perdagangan yang tepat.

Karena masalah-masalah ini, pengujian di luar sampel lebih andal sebagai pemeriksaan ketahanan daripada sebagai bukti. Ini memberikan bukti dalam kondisi tertentu, bukan kepastian.

Verifikasi atau pertanyaan lanjutan

Untuk memverifikasi secara independen klaim tentang pengujian di luar sampel, fokuslah pada reproduktibilitas daripada persuasi. Mintalah: (1) definisi pasti periode pelatihan dan di luar sampel, (2) langkah prapemrosesan dan aturan pembersihan data, (3) asumsi biaya/eksekusi yang digunakan dalam pengujian, (4) berapa banyak konfigurasi atau hiperparameter yang dicoba sebelum memilih yang dilaporkan, dan (5) apakah hasil konsisten di beberapa pembagian yang tidak tumpang tindih.

Pertanyaan lanjutan yang berguna adalah: Seberapa sensitif hasil terhadap pembagian, panjang jendela waktu, dan model eksekusi/biaya? Jika perubahan kecil secara material mengubah kesimpulan, maka pengujian di luar sampel menandakan kerapuhan daripada ketahanan.