Pengujian Di Luar Sampel
Apa itu Pengujian Di Luar Sampel
Pengujian di luar sampel adalah langkah evaluasi yang memeriksa strategi atau model trading pada data yang tidak digunakan saat model tersebut dibangun, disetel, atau dioptimalkan. Ide utamanya adalah pemisahan: bagian “dalam sampel” digunakan untuk pengembangan, sementara bagian “di luar sampel” digunakan kemudian untuk penilaian.
Dalam konteks backtesting forex dan pengujian maju, pengujian di luar sampel sering digambarkan sebagai jalan tengah antara pengujian retrospektif murni dan evaluasi langsung. Ini dimaksudkan untuk menjawab pertanyaan spesifik: apakah pendekatan tersebut masih berfungsi ketika Anda menerapkannya pada data pasar yang belum pernah dilihat?
Cara kerjanya dalam backtesting forex & pengujian maju
Bagi data berdasarkan waktu
Pendekatan yang umum dan dapat dipertahankan adalah membagi data historis berdasarkan waktu. Misalnya, Anda menggunakan periode awal untuk mengembangkan aturan atau parameter (dalam sampel), dan periode selanjutnya untuk mengevaluasi kinerja (di luar sampel). Menggunakan urutan waktu itu penting karena pasar forex terus berkembang; menggunakan data masa depan dalam pengembangan dapat menciptakan kesan akurasi yang menyesatkan.
Bekukan keputusan sebelum pengujian
Pengujian di luar sampel hanya bermakna jika Anda memperlakukan model sebagai sesuatu yang tetap sebelum mengevaluasinya pada periode di luar sampel. Itu berarti Anda biasanya menghindari mengubah parameter atau memilih di antara beberapa varian berdasarkan hasil di luar sampel.
Cara praktis untuk memahami ini adalah: bagian di luar sampel harus berperilaku seperti ujian akhir, bukan lembar kerja lain. Jika Anda berulang kali “mengintip” hasil di luar sampel dan merevisi berdasarkan hasil tersebut, Anda mulai memasukkan informasi kembali ke dalam pengembangan.
Evaluasi dengan metrik yang sama dan kendala yang realistis
Untuk membandingkan kinerja antar periode, Anda menggunakan metrik evaluasi yang sama. Dalam forex, metrik yang relevan dapat mencakup ukuran profitabilitas, perilaku drawdown, dan konsistensi hasil. Kumpulan metrik yang tepat bergantung pada strategi, tetapi prinsipnya adalah Anda harus menjaga pengukuran tetap konsisten.
Yang sama pentingnya, asumsi apa pun yang digunakan selama evaluasi di luar sampel harus sesuai dengan cara strategi akan dieksekusi. Jika backtest mengabaikan biaya, menggunakan pengisian order yang tidak realistis, atau mengasumsikan eksekusi sempurna, evaluasi mungkin terlalu optimis.
Gunakan lebih dari satu irisan di luar sampel
Karena pasar tidak berperilaku sama sepanjang waktu, satu jendela di luar sampel bisa menjadi pengujian yang tidak lengkap. Menggunakan beberapa irisan di luar sampel—yang tetap tidak terlihat selama pengembangan—membantu mengungkap apakah kinerja bergantung pada rezim pasar tertentu.
Keterbatasan dan risiko yang relevan
Overfitting masih bisa terjadi
Pengujian di luar sampel mengurangi risiko overfitting, tetapi tidak menghilangkannya. Jika Anda menguji banyak model kandidat dan memilih yang berkinerja terbaik pada data di luar sampel, Anda secara efektif menggunakan kembali data evaluasi untuk seleksi. Ini dapat meningkatkan persepsi kinerja.
Masalah terkait adalah pemodelan yang terlalu fleksibel: bahkan ketika sebuah strategi terlihat bagus pada satu periode yang belum terlihat, strategi tersebut mungkin bergantung pada pola yang hilang kemudian.
Pergeseran rezim pasar mengubah hasil
Forex dipengaruhi oleh perubahan kondisi makro, pola volatilitas, dan kondisi likuiditas. Periode di luar sampel yang menyerupai periode pengembangan dapat membuat pengujian terlihat lebih kuat daripada yang akan Anda lihat di bawah rezim yang berbeda.
Inilah sebabnya mengapa beberapa irisan dan pemisahan yang sadar waktu itu penting. Meski demikian, bahkan dengan desain yang baik, kondisi masa depan dapat berbeda dari jendela pengujian historis mana pun.
Perbedaan backtest vs eksekusi
Backtest memperkirakan trading nyata. Ketidakcocokan kecil—seperti spread yang melebar, slippage, waktu eksekusi order, atau perilaku spesifik instrumen—dapat mengubah hasil secara material. Pengujian di luar sampel hanya mengukur apa yang dihasilkan oleh asumsi simulasi Anda, bukan hasil sebenarnya yang akan terjadi dengan eksekusi nyata.
Ketidakpastian statistik tetap ada
Bahkan jika kinerja di luar sampel positif, hasilnya dapat dipengaruhi oleh keacakan. Periode yang berbeda dapat menghasilkan hasil yang berbeda, terutama jika jumlah trade terbatas atau jika return memiliki varians tinggi. Oleh karena itu, pengujian di luar sampel harus diperlakukan sebagai bukti, bukan kepastian.
Cara memverifikasi pemahaman secara independen
Pengujian di luar sampel paling baik dipahami dengan menerapkan aturan pemisahan dan kemudian memeriksa apakah hasil tetap stabil di seluruh irisan waktu dan metrik evaluasi. Jika Anda dapat mereproduksi evaluasi secara konsisten dan menunjukkan dengan jelas data apa yang digunakan untuk pengembangan versus penilaian, pengujian tersebut lebih independen dan informatif.
Ini juga dapat membantu untuk membandingkan hasil di luar sampel dengan langkah evaluasi berwawasan ke depan yang lebih baru, karena pengujian maju menambahkan realisme melampaui perkiraan historis. Namun, pengujian maju masih menghadapi ketidakpastian dan tidak menjamin hasil.
Di mana posisinya di samping pengujian maju
Pengujian di luar sampel biasanya merupakan langkah validasi retrospektif: ia menggunakan sejarah sambil menghormati pemisahan dari pengembangan. Pengujian maju dilakukan kemudian dan lebih praktis, karena menilai perilaku dalam lingkungan yang lebih realistis.
Dalam praktiknya, banyak pembaca memperlakukan pengujian di luar sampel sebagai cara untuk mengurangi overfitting yang jelas sebelum menghabiskan waktu pada evaluasi selanjutnya. Batasan pentingnya adalah bahwa bahkan pengujian di luar sampel yang cermat tidak dapat menghilangkan ketidakpastian—kondisi forex dapat berubah, dan simulasi dapat menyimpang dari eksekusi.
Jika Anda ingin menjelajahi alur kerja yang lebih luas, lihat backtesting forex & pengujian maju.