Pengujian Maju

Jawaban langsung: apa itu pengujian maju

Pengujian maju adalah metode evaluasi di mana Anda mengambil aturan perdagangan yang telah didefinisikan sebelumnya (misalnya, setelah backtesting) dan kemudian mengujinya pada informasi yang lebih baru yang tidak digunakan untuk membuat atau menyetel aturan tersebut. Dalam praktiknya, “lebih baru” sering kali berarti periode waktu baru setelah periode yang digunakan untuk pengembangan, atau kumpulan data yang dijaga sepenuhnya terpisah.

Ide utamanya sederhana: pengujian maju mencoba meniru apa yang akan terjadi jika aturan tersebut menghadapi kondisi nyata di luar sampel historis yang digunakan untuk merancangnya. Ini digunakan di forex dan pasar lain untuk menilai apakah suatu strategi itu kokoh, bukan hanya cocok secara ketat dengan periode masa lalu tertentu.

Cara kerja pengujian maju

Pengujian maju biasanya dibangun di sekitar aturan tetap dan pemisahan ketat antara pengembangan dan evaluasi.

1) Mulai dengan definisi aturan yang lengkap

Pengujian maju membutuhkan detail yang cukup untuk dapat direproduksi tanpa “menyesuaikan secara langsung.” Ini biasanya mencakup logika masuk dan keluar, asumsi ukuran posisi (meskipun disederhanakan), kontrol risiko jika ada, dan asumsi sesi perdagangan (misalnya, apakah Anda mengizinkan perdagangan setiap saat atau hanya pada jam-jam tertentu).

“Aturan tetap” itu penting karena perubahan apa pun yang dilakukan setelah melihat hasil awal dapat mengaburkan garis antara evaluasi dan optimasi.

2) Jaga periode evaluasi tetap terpisah

Data evaluasi harus tidak tersentuh selama tahap pembuatan aturan. Pemisahan dapat berbasis waktu (rentang tanggal yang lebih baru) atau berbasis kumpulan data (irisan data terpisah). Either way, tujuannya adalah untuk mencegah kebocoran dari set evaluasi ke dalam proses pengembangan.

Bahkan dengan pemisahan yang benar, hasil bisa menyesatkan jika tahap pengembangan secara tidak sengaja memengaruhi desain pengujian (misalnya, dengan memilih indikator, ambang batas, atau filter setelah mengamati pola di periode yang seharusnya menjadi periode evaluasi).

3) Terapkan aturan dan catat hasilnya

Selama pengujian maju, Anda menjalankan aturan terhadap data evaluasi menggunakan asumsi yang sama yang digunakan saat mendefinisikan aturan. Hasil diukur dengan metrik kinerja apa pun yang relevan dengan aturan dan ruang lingkup pengujian (misalnya, konsistensi dari waktu ke waktu, perilaku drawdown, dan stabilitas hasil, bukan hanya satu angka utama).

Detail eksekusi itu penting. Jika pengujian menggunakan pengisian yang disederhanakan (misalnya, mengasumsikan pengisian sempurna atau mengabaikan biaya transaksi), itu dapat melebih-lebihkan realisme. Jika pengujian menyertakan gesekan yang lebih realistis (seperti spread dan komisi sebagai asumsi), itu masih bisa tidak pasti karena eksekusi nyata mungkin berbeda.

4) Interpretasikan hasil sebagai bukti, bukan kepastian

Pengujian maju adalah pemeriksaan ketahanan, bukan jaminan. Bahkan jika periode pengujian berkinerja baik, itu tetap hanya satu sampel kondisi pasar. Jika berkinerja buruk, itu mungkin menunjukkan aturan tersebut rapuh—atau mungkin mencerminkan bahwa periode evaluasi sangat sulit dibandingkan dengan periode pengembangan.

Keterbatasan dan risiko yang relevan

Pengujian maju mengurangi beberapa masalah umum (terutama overfitting), tetapi tidak menghilangkan ketidakpastian.

Ukuran sampel terbatas dan kondisi pasar yang berubah

Kondisi forex dapat berubah seiring waktu karena peristiwa makro, pergeseran rezim volatilitas, perbedaan likuiditas, dan perubahan spread tipikal. Pengujian maju hanya mencakup sebagian waktu, jadi hasilnya mungkin mencerminkan rezim spesifik itu.

Karena itu, pengujian maju tidak dapat memberikan kepastian tentang kinerja masa depan; itu hanya dapat memberikan perkiraan yang lebih baik daripada backtesting saja.

Bias melalui “penyetelan tersembunyi”

Bahkan jika set evaluasi awalnya terpisah, bias dapat menyusup ketika Anda berulang kali menjalankan varian strategi dan kemudian mempromosikan versi yang terlihat terbaik di jendela pengujian maju. Ini kadang-kadang digambarkan sebagai pengujian berulang melalui banyak kesempatan.

Risiko umum lainnya adalah membuat penyesuaian diskresioner setelah melihat perilaku awal. Jika aturan berubah karena hasil yang diamati di periode pengujian, pengujian berhenti menjadi evaluasi yang bersih.

Kesenjangan realisme eksekusi

Pengujian maju sering mengandalkan asumsi untuk eksekusi dan kendala perdagangan. Jika asumsi tersebut disederhanakan, hasil bisa optimistis. Jika terlalu konservatif, hasil bisa terlihat lebih buruk dari yang mungkin dapat dicapai.

Selain itu, pengujian “kertas” atau simulasi mungkin tidak sepenuhnya menangkap faktor operasional seperti penanganan pesanan, perilaku slippage, dan dampak spread pada saat keputusan dipicu. Tingkat ketidakcocokan bervariasi tergantung implementasinya.

Pemilihan metrik dapat mendistorsi kesimpulan

Memilih metrik kinerja setelah melihat hasil dapat mengubah apa arti “sukses.” Misalnya, hanya berfokus pada satu metrik dapat menyembunyikan perilaku tidak stabil atau kinerja yang tidak merata di seluruh subperiode.

Menafsirkan beberapa sinyal yang konsisten tentang stabilitas seringkali lebih informatif daripada mengandalkan satu angka ringkasan.

Pengujian maju vs evaluasi terkait (perbandingan singkat)

Pengujian maju umumnya dibandingkan dengan backtesting.

• Backtesting mengevaluasi aturan pada data masa lalu, yang dapat mendorong overfitting jika loop pengembangan tidak dikendalikan.
• Pengujian maju mengevaluasi aturan yang sudah ditentukan pada data kemudian yang belum terlihat untuk memeriksa apakah kecocokan backtesting yang tampak dapat digeneralisasi.

Secara lebih umum, evaluasi apa pun yang menggunakan informasi masa depan relatif terhadap definisi aturan (dan menjaganya tetap terpisah) sejalan dengan prinsip dasar yang sama: mengurangi overfitting dengan menguji di luar sampel pengembangan.

Pemeriksaan praktis untuk verifikasi independen (non-advisory)

Untuk membuat hasil lebih dapat diverifikasi secara independen, pengujian maju biasanya membutuhkan transparansi tentang definisi aturan, pemisahan yang tepat antara pengembangan dan evaluasi, dan asumsi yang digunakan untuk eksekusi.

Elemen umum yang dapat Anda tinjau secara independen meliputi:

• Apakah periode evaluasi benar-benar dikecualikan dari pembuatan dan penyetelan aturan.
• Apakah aturan dibiarkan tidak berubah selama evaluasi.
• Asumsi apa yang digunakan untuk biaya perdagangan dan pengisian (jika ada).
• Bagaimana hasil diringkas dari waktu ke waktu, bukan hanya sebagai satu angka.

Kapan temuan pengujian maju paling informatif

Pengujian maju paling informatif ketika diperlakukan sebagai perbandingan terkontrol antara aturan tetap yang sama di bawah pemisahan waktu atau data yang didefinisikan dengan jelas. Ini juga lebih informatif ketika pengujian menghindari pemilihan berulang di antara banyak varian.

Karena ini masih satu sampel kondisi pasar, kesimpulan yang kuat harus dinyatakan dengan hati-hati: pengujian maju dapat meningkatkan keyakinan relatif terhadap backtesting, tetapi tidak dapat menghilangkan ketidakpastian yang melekat di pasar langsung.