Pengujian Out Of Sample vs. konsep forex terkait

Jawaban langsung

Pengujian Out Of Sample (sering disingkat sebagai pengujian OOS) adalah langkah evaluasi yang dirancang untuk mengukur seberapa baik seperangkat aturan atau parameter yang disesuaikan bekerja pada data yang tidak digunakan untuk membangun atau menyetelnya. Ini berbeda dari ide evaluasi forex terkait—terutama backtesting dan forward testing—karena konsep-konsep tersebut bervariasi dalam kapan dan data mana yang digunakan untuk penyesuaian versus penilaian kinerja.

Cara yang membantu untuk memikirkan perbedaannya adalah dengan memisahkan dua fase:

1. Pembentukan model/parameter (memilih aturan dan parameter), dan
2. Evaluasi kinerja (mengukur hasil).

Pengujian OOS menjaga fase-fase ini tetap berbeda dengan menggunakan data “baru” untuk evaluasi, yang merupakan mekanisme utama yang mengurangi (tetapi tidak menghilangkan) hasil optimistis yang disebabkan oleh overfitting.

Mekanisme: apa yang dilakukan setiap konsep dengan data

Pengujian Out Of Sample (OOS)

Pengujian Out Of Sample adalah praktik mengevaluasi logika trading kandidat (aturan, pengaturan indikator, ambang batas, batas risiko, dan pilihan serupa) pada kumpulan data yang ditahan dari periode yang digunakan untuk menyusun pilihan-pilihan tersebut.

Dalam pengaturan pendidikan standar, Anda berasumsi:

• Anda memiliki rangkaian harga historis.
• Anda membaginya menjadi setidaknya dua bagian: bagian “pengembangan” (in-sample) dan bagian “evaluasi” (out-of-sample).
• Anda membentuk atau menyetel pendekatan hanya menggunakan bagian pengembangan.
• Anda melaporkan metrik kinerja hanya menggunakan bagian OOS.

Tujuannya bukan untuk memprediksi masa depan secara langsung. Sebaliknya, ini adalah untuk menguji apakah hasil nyata pendekatan pada periode pengembangan terbawa ke data yang tidak dilihatnya.

Backtesting

Backtesting adalah konsep yang lebih luas tentang mensimulasikan bagaimana aturan akan berkinerja pada data historis. Dalam bentuknya yang paling sederhana, backtesting menjawab: “Jika aturan-aturan ini diterapkan pada masa lalu, apa hasil simulasi yang akan terjadi?”

Backtesting dapat dilakukan dengan berbagai cara, termasuk pendekatan di mana data yang sama digunakan baik untuk menyetel maupun menilai. Ketika itu terjadi, kinerja dapat terlihat lebih baik daripada dengan data yang benar-benar tidak terlihat, karena simulasi mungkin mencerminkan pilihan yang secara kebetulan cocok dengan noise.

Jadi, perbedaan utama versus OOS bukanlah bahwa backtesting itu “salah,” tetapi bahwa backtesting saja tidak menjamin pemisahan yang ketat antara pembentukan dan evaluasi.

Forward testing

Forward testing (kadang-kadang digambarkan sebagai “paper trading” atau “menjalankan pada data berikutnya”) mengevaluasi pendekatan selama periode waktu berikutnya setelah periode pengembangan.

Secara konseptual, ini menekankan waktu: Anda membiarkan sistem “berjalan” ke periode yang tidak tersedia selama pengembangan. Itu membuatnya lebih dekat dengan penggunaan waktu nyata daripada pemisahan historis tunggal.

Namun, forward testing tetap bergantung pada asumsi. Bahkan jika urutan waktu dihormati, hasil dapat bervariasi dengan:

• bagaimana biaya transaksi dimodelkan,
• apakah eksekusi disimulasikan secara realistis,
• dan apakah kondisi pasar berubah.

Perbandingan terbatas: bagaimana kriteria berbeda

Di bawah ini adalah perbandingan terbatas menggunakan kriteria verifikasi umum. Untuk setiap kriteria, “pemilik kanonik” adalah konsep yang definisinya paling langsung membahas kriteria tersebut.

1) Pemisahan data antara pengembangan dan evaluasi

• Pengujian OOS (pemilik kanonik: OOS): secara eksplisit mensyaratkan data evaluasi yang ditahan.
• Backtesting (pemilik kanonik: konsep backtesting): mungkin atau mungkin tidak memisahkan pengembangan dari evaluasi.
• Forward testing (pemilik kanonik: forward testing): mengevaluasi pada periode berikutnya, biasanya setelah pengembangan, tetapi tidak secara otomatis memastikan pemisahan sempurna dari semua keputusan penyetelan.

2) Tujuan utama

• Pengujian OOS: menilai generalisasi ke data historis baru.
• Backtesting: mensimulasikan perilaku historis dari seperangkat aturan.
• Forward testing: menilai perilaku seiring waktu berjalan ke data berikutnya.

3) Risiko hasil optimistis

• Pengujian OOS: mengurangi bias optimistis ketika dilakukan dengan pemisahan yang jelas, tetapi masih dapat menderita karena perbandingan berganda, penyetelan ulang berulang, atau kebocoran melalui prapemrosesan.
• Backtesting: bisa sangat optimistis jika kumpulan data yang sama mendorong desain dan evaluasi.
• Forward testing: masih bisa optimistis jika metode direvisi berulang kali menggunakan hasil forward test, atau jika asumsi eksekusi tidak realistis.

4) Mode kegagalan yang umum

• Mode kegagalan pengujian OOS: kebocoran data (menggunakan informasi masa depan secara tidak langsung), overfitting ke segmen OOS tertentu, dan pemilihan parameter yang diulang di banyak eksperimen.
• Mode kegagalan backtesting: bias in-sample karena evaluasi tumpang tindih dengan proses penyesuaian.
• Mode kegagalan forward testing: perubahan rezim setelah pengembangan, dan ketidakcocokan antara eksekusi simulasi dan eksekusi nyata.

Bukti atau contoh (dengan asumsi eksplisit)

Pertimbangkan contoh pendidikan sederhana dengan asumsi yang dinyatakan di awal.

Asumsikan Anda mulai dengan aturan yang menggunakan satu parameter: panjang jendela lookback. Anda memiliki 10 tahun data harga mingguan.

• Periode pengembangan: tahun 1–7
• Periode evaluasi: tahun 8–10

Langkah A (pembentukan): Anda mencoba beberapa panjang jendela dan memilih yang memiliki kinerja terbaik selama tahun 1–7.

Langkah B (uji OOS): Anda menjaga panjang jendela yang dipilih tetap dan mengevaluasi kinerja pada tahun 8–10.

Dalam pengaturan ini:

• Jika hasil meningkat secara dramatis pada tahun 8–10, itu menunjukkan aturan dapat digeneralisasi melampaui periode pengembangan.
• Jika hasil runtuh pada segmen OOS, itu menunjukkan keberhasilan periode pengembangan mungkin spesifik untuk data sebelumnya itu.

Sekarang bandingkan dengan skenario backtesting murni di mana Anda mengevaluasi dan juga memilih parameter menggunakan semua 10 tahun sekaligus. Bahkan jika simulasi menunjukkan hasil yang kuat, Anda tidak dapat menghubungkannya dengan generalisasi karena periode evaluasi digunakan secara tidak langsung untuk membentuk parameter.

Terakhir, bandingkan dengan forward testing: misalkan Anda mengembangkan metode pada tahun 1–7, lalu menjalankannya selama tahun 8–10 dengan cara yang menyerupai perkembangan waktu. Ini dapat mengungkap masalah seperti asumsi eksekusi praktis, tetapi tetap tidak dapat menjamin kinerja masa depan, karena pasar dapat berubah dan karena biaya transaksi serta eksekusi order dapat berbeda dari model yang disederhanakan.

Keterbatasan dan risiko (apa yang bisa salah)

Bahkan dengan pengujian OOS, ada keterbatasan material dan mode kegagalan yang relevan untuk evaluasi forex.

1. Overfitting meskipun OOS Jika Anda berulang kali menyesuaikan parameter berdasarkan hasil OOS, segmen OOS secara efektif menjadi bagian dari proses pengambilan keputusan. Itu dapat memperkenalkan kembali optimisme.

2. Kebocoran data Jika prapemrosesan menggunakan informasi yang tidak akan tersedia pada saat evaluasi (misalnya, normalisasi yang dihitung menggunakan nilai masa depan), hasil OOS bisa menyesatkan.

3. Non-stasioneritas dan perubahan rezim Pasar forex dapat mengubah perilaku dari waktu ke waktu. Metode yang berhasil dalam satu rezim mungkin tidak berhasil di rezim lain, sehingga kinerja OOS bukanlah jaminan ketahanan.

4. Ketidakcocokan biaya dan eksekusi Simulasi backtesting dan forward testing sering menyederhanakan eksekusi trading. Perbedaan dalam biaya transaksi, spread, slippage, dan penanganan order dapat mengubah hasil secara signifikan.