Cara Kerja Out Of Sample Testing di Forex: Mekanisme, Input, Output, dan Batasan

Jawaban langsung

Out Of Sample Testing di forex adalah pendekatan validasi yang digunakan untuk memperkirakan bagaimana sebuah ide trading mungkin berperilaku ketika diterapkan pada data yang belum pernah dilihat sebelumnya. Ide intinya adalah membagi data harga historis menjadi setidaknya dua bagian: satu bagian untuk membangun atau menyetel model (in-sample) dan bagian lain yang disisihkan (out-of-sample) untuk mengevaluasi kinerja. Ini membantu mengurangi risiko bahwa hasil hanya mencerminkan pola yang dipelajari dari data yang sama yang digunakan untuk membuat aturan.

Ini tidak menjamin hasil masa depan, karena perilaku pasar forex berubah seiring waktu dan karena perbedaan backtest-ke-live (biaya, spread, eksekusi order, dan kendala praktis) dapat mengubah hasil. Meski demikian, metode ini menyediakan cara terstruktur untuk menguji apakah evaluasi Anda “cukup independen” untuk menjadi informatif.

Mekanisme dan istilah kunci

Mulailah dengan aturan trading atau sistem yang dijelaskan oleh parameter. Parameter bisa berupa hal-hal seperti panjang lookback, ambang batas, atau kontrol risiko. Alur kerja lengkap biasanya digambarkan sebagai bentuk backtesting ditambah pembagian data.

1) Pilih kumpulan data dan aturan pembagian Anda mengambil data forex historis (misalnya, harga bar, data tick, atau feed bergaya broker jika tersedia) dan membaginya menjadi:

• In-sample (pelatihan/pembangunan): digunakan untuk menyesuaikan parameter atau memutuskan aturan apa yang dipertahankan.
• Out-of-sample (pengujian/holdout): tidak digunakan selama langkah penyesuaian.

Aturan pembagian dapat berbasis waktu (data paling awal in-sample, data kemudian out-of-sample) atau berdasarkan blok. Di forex, pembagian berbasis waktu sering digunakan untuk menghindari “melihat masa depan.”

2) Bangun pada in-sample Menggunakan periode in-sample, Anda menjalankan logika trading untuk menghitung metrik kinerja sambil menyesuaikan parameter. Langkah ini bertujuan untuk membuat kandidat yang berfungsi, bukan untuk memperkirakan hasil masa depan.

3) Bekukan kandidat Setelah aturan dan parameter kandidat dipilih, Anda “membekukannya.” Tidak ada perubahan parameter lebih lanjut yang boleh dilakukan menggunakan data out-of-sample, jika tidak, holdout berhenti menjadi independen.

4) Evaluasi pada out-of-sample Anda kemudian menjalankan ulang logika yang dibekukan pada periode out-of-sample dan menghitung kumpulan metrik yang sama.

5) Bandingkan perilaku in-sample versus out-of-sample Perbandingan yang berguna adalah apakah kandidat berkinerja “serupa” pada holdout relatif terhadap pelatihan, atau apakah kinerja runtuh. Kesenjangan besar dapat mengindikasikan overfitting, sensitivitas rezim, atau asumsi yang tidak realistis dalam backtest.

Input yang harus Anda tentukan

Untuk membuat pengujian dapat diinterpretasikan, Anda perlu menentukan input yang memengaruhi hasil:

• Definisi data: harga mana, kerangka waktu, dan zona waktu.
• Model eksekusi: bagaimana order terisi (misalnya, pada pembukaan/penutupan bar, dengan atau tanpa slippage).
• Biaya: spread, komisi, dan asumsi pembiayaan atau rollover apa pun jika model data Anda menyertakannya.
• Asumsi penanganan order: apa yang terjadi ketika sinyal muncul selama bar, ketika beberapa sinyal tumpang tindih, atau ketika likuiditas tidak mencukupi.
• Proses pemilihan parameter: berapa banyak pilihan yang Anda coba dan bagaimana Anda memutuskan kandidat mana yang dipertahankan.

Bukti atau contoh (tanpa menyiratkan hasil)

Pertimbangkan alur kerja hipotetis yang sederhana. Misalkan Anda memiliki serangkaian aturan kandidat dengan parameter seperti panjang lookback rata-rata bergerak.

1. In-sample: data 2019–2020

• Anda mencoba beberapa nilai lookback.
• Untuk setiap lookback, Anda melakukan backtest aturan menggunakan asumsi eksekusi dan biaya yang sama.
• Anda mempertahankan lookback yang menghasilkan metrik in-sample terbaik menurut kriteria yang ditentukan (misalnya, pengembalian bersih tertinggi atau metrik penyesuaian risiko terbaik).

2. Bekukan

• Setelah memilih lookback berdasarkan in-sample, Anda mengunci parameter.

3. Out-of-sample: data 2021

• Anda menjalankan aturan yang sama persis dan parameter terkunci pada periode holdout.
• Anda menghitung metrik yang sama.

4. Interpretasi

• Jika hasil out-of-sample sebanding dalam pola dan besaran dengan in-sample, itu menunjukkan aturan mungkin kurang bergantung pada satu periode tertentu.
• Jika hasil out-of-sample memburuk tajam, itu menunjukkan kinerja in-sample mungkin terkait dengan karakteristik yang tidak bertahan.

Contoh ini mengilustrasikan urutan dan peran input; ini tidak menyiratkan bahwa pilihan parameter tertentu akan “berhasil.” Validitas bergantung pada apakah periode out-of-sample tetap tidak tersentuh selama pemilihan.

Batasan material dan mode kegagalan

Pengujian out-of-sample membantu validasi, tetapi masih bisa gagal. Setidaknya satu batasan penting harus diharapkan:

1) Overfitting masih bisa terjadi

Bahkan dengan holdout, overfitting dapat terjadi jika Anda berulang kali mengintip hasil out-of-sample sambil menyempurnakan strategi. Setiap iterasi menjadi peluang baru untuk menyesuaikan kandidat dengan holdout.

2) Kebocoran data dan informasi masa depan tersembunyi

Kebocoran terjadi ketika informasi dari periode out-of-sample secara tidak langsung memengaruhi perhitungan in-sample. Dalam backtesting forex, ini dapat muncul dari penyelarasan indikator yang salah, bias look-ahead dalam cara sinyal dihitung, atau menggunakan transformasi data yang secara tidak sengaja menggunakan bar masa depan.

3) Pergeseran rezim pasar

Kinerja forex bergantung pada rezim: volatilitas, tren, spread, dan karakteristik aliran order dapat berubah. Strategi yang cocok dengan satu rezim mungkin tidak cocok dengan rezim lain, bahkan jika prosedur backtest benar.

4) Kesenjangan realisme backtest

Backtest sensitif terhadap pilihan pemodelan:

• Asumsi spread dan slippage mungkin berbeda dari kenyataan.
• Asumsi waktu eksekusi dapat mengubah hasil perdagangan.
• Aksi korporasi tidak berlaku untuk forex dengan cara yang sama, tetapi rollover, pendanaan, dan kendala ketersediaan masih dapat memengaruhi hasil bersih tergantung pada bagaimana kumpulan data Anda memodelkannya.

Karena faktor-faktor ini, validasi in-sample/out-of-sample yang stabil tidak menjamin kinerja masa depan yang stabil.

Verifikasi dan apa yang harus diperiksa selanjutnya

Untuk memverifikasi secara independen klaim yang bergantung pada pengujian out-of-sample, fokuslah pada metodologi daripada angka kinerja utama:

1. Konfirmasi independensi holdout

• Apakah data out-of-sample hanya digunakan sekali untuk evaluasi akhir, setelah parameter dibekukan?

2. Periksa apakah pengujian konsisten waktu

• Apakah pembagian menghindari kebocoran masa depan?
• Apakah perhitungan indikator diselaraskan sehingga hanya menggunakan informasi yang tersedia pada saat pengambilan keputusan?

3. Bandingkan hal yang serupa

• Apakah asumsi eksekusi dan biaya yang sama digunakan untuk in-sample dan out-of-sample?

4. Cari sensitivitas, bukan hanya satu skor

• Jika beberapa variasi parameter menghasilkan perilaku out-of-sample yang serupa, hasilnya mungkin tidak rapuh.

5. Tentukan metrik dan maknanya

• Metrik bergantung pada asumsi tentang bagaimana Anda mengukur keuntungan, biaya, dan risiko. Bersikaplah tepat tentang apa yang dibandingkan.

Jika Anda ingin lebih dalam, pertanyaan praktis berikutnya adalah: bagaimana periode out-of-sample dibangun (holdout tunggal versus beberapa lipatan) dan apakah proses evaluasi memungkinkan pemilihan berulang berdasarkan holdout. Detail-detail itu sering menentukan apakah pengujian tersebut validasi asli atau penyempurnaan in-sample yang terselubung.