Pertimbangan Lanjutan untuk Pengujian Di Luar Sampel

Apa yang dimaksud dengan pengujian di luar sampel

Pengujian di luar sampel (sering disingkat OOS) adalah cara untuk mengevaluasi model atau aturan keputusan menggunakan data yang tidak digunakan saat membuat atau menyetel model tersebut. Ide utamanya sederhana: jika kinerja bergantung pada pola yang hanya ada dalam data yang disesuaikan, model tersebut mungkin gagal saat bertemu dengan data baru yang belum pernah terlihat sebelumnya.

Pertimbangan “lanjutan” sebagian besar muncul karena, dalam praktiknya, apa yang dianggap sebagai data “belum terlihat” dan apa yang dianggap sebagai kondisi “yang sama” mudah untuk disalahartikan. OOS bukanlah jaminan kesuksesan di masa depan; ini adalah pemeriksaan tekanan terhadap overfitting dalam asumsi spesifik.

Bagaimana mekanismenya bekerja (dan apa yang harus didefinisikan terlebih dahulu)

Sebelum membahas implikasinya, tentukan bagian-bagian yang bergerak yang nantinya akan Anda bandingkan. Pengaturan yang jelas biasanya mencakup:

• Model atau aturan: apa yang disesuaikan (parameter, ambang batas, transformasi fitur, atau keputusan prapemrosesan apa pun).
• Jendela pelatihan: bagian data yang digunakan untuk menyesuaikan atau menyetel.
• Jendela di luar sampel: bagian yang tidak digunakan untuk penyesuaian.
• Proses seleksi: apakah Anda memilih di antara beberapa varian berdasarkan kinerja.

Jebakan lanjutan yang umum adalah hasil OOS dapat menjadi “secara informal dalam sampel” ketika Anda berulang kali mengubah model setelah memeriksa hasil OOS. Ini secara efektif mengubah OOS menjadi tahap penyetelan lainnya.

Agar mekanismenya tetap bermakna, Anda perlu menentukan aturan untuk membuat pembagian (misalnya, berdasarkan urutan waktu), dan Anda perlu memutuskan apakah langkah lain selain model akhir juga dilarang melihat data OOS. “Data” harus mencakup label, artefak prapemrosesan, dan pencarian apa pun yang digunakan untuk membangun fitur.

Pertimbangan lanjutan: ketergantungan dan kasus tepi

1) Kebocoran data di seluruh pembagian

Kebocoran berarti informasi dari periode OOS yang seharusnya memengaruhi pelatihan secara tidak langsung. Ini dapat terjadi ketika:

• fitur dibuat menggunakan statistik yang dihitung di seluruh kumpulan data (bukan hanya bagian pelatihan),
• stempel waktu, pengidentifikasi, atau transformasi “melihat ke masa depan” menyelinap ke dalam input,
• jendela yang tumpang tindih menggunakan kembali pengamatan yang sama dalam pelatihan dan OOS.

Bahkan kebocoran kecil pun dapat menghasilkan perkiraan kinerja yang tampak lebih kuat daripada yang seharusnya untuk lingkungan yang benar-benar baru. Karena mekanisme kebocoran bervariasi menurut alur kerja, Anda harus meninjau seluruh alur, bukan hanya langkah pemodelan.

2) Pergeseran distribusi: “belum terlihat” tidak berarti “berbeda dengan cara yang relevan”

OOS masih bisa menyesatkan jika data OOS terlalu mirip dengan rezim pelatihan. Sebaliknya, pergeseran distribusi yang tajam (perubahan volatilitas, struktur korelasi, musiman, atau mikrostruktur) dapat membuat OOS jauh lebih buruk bahkan ketika metode tersebut tidak “salah.”

Oleh karena itu, praktik lanjutan memperlakukan OOS sebagai bukti bersyarat: ini menguji satu jalur tertentu dari sejarah ke periode berikutnya di bawah proses pembangkit data yang diasumsikan sama.

3) Pilihan strategi pembagian

Pembagian berurutan waktu, pembagian acak, dan pembagian berbasis rezim menjawab pertanyaan yang berbeda:

• OOS berurutan waktu menguji bagaimana model berperilaku bergerak maju dalam waktu.
• OOS acak menguji apakah pola bersifat umum di seluruh sampel yang diacak, yang dapat menyembunyikan kebocoran temporal dan melebih-lebihkan stabilitas.
• OOS berbasis rezim mencoba menguji tekanan di seluruh perubahan struktural, tetapi memerlukan definisi rezim dan dapat memperkenalkan subjektivitas.

Strategi pembagian bukan sekadar detail; ini adalah asumsi tentang apa arti “generalisasi” dalam konteks Anda.

4) Seleksi multi-tahap dan pengujian berulang

Jika Anda mencoba banyak varian model dan menyimpan yang memiliki kinerja OOS terbaik, Anda secara efektif melakukan banyak perbandingan. Perkiraan yang dihasilkan bisa menjadi optimistis karena pemain terbaik dipilih setelah melihat hasil OOS-nya.

Alur kerja yang kuat memisahkan peran:

• satu set untuk pelatihan,
• satu set untuk seleksi (penyetelan dan pilihan model),
• satu set untuk evaluasi akhir.

Bahkan kemudian, semakin sering Anda mengulangi evaluasi, semakin besar risiko Anda melenceng menuju perkiraan yang sesuai dengan desain evaluasi.

5) Kendala implementasi: biaya, eksekusi, dan pengukuran

Evaluasi OOS hanya serealistis asumsi evaluasi Anda. Sumber ketidakcocokan yang umum meliputi:

• Biaya: komisi, biaya, dan gesekan seperti spread dapat mengurangi pengembalian dan mengubah peristiwa mana yang menguntungkan.
• Eksekusi: apakah pesanan diasumsikan terisi pada harga yang menguntungkan, atau apakah selip dimodelkan.
• Pengukuran: bagaimana Anda mendefinisikan hasil (misalnya, bersih dari biaya, menggunakan unit yang konsisten, menangani stempel waktu yang hilang atau tidak teratur).

Faktor-faktor ini bisa stabil dalam kumpulan data evaluasi tetapi bervariasi antar waktu. Pertimbangan lanjutan adalah menyelaraskan evaluasi OOS dengan aturan yang akan berlaku pada saat penggunaan.

Keterbatasan dan mode kegagalan

Keterbatasan yang paling material adalah:

• Hubungan historis tidak menetapkan hasil masa depan: OOS hanya mengukur generalisasi masa lalu di bawah pembagian dan asumsi yang dipilih.
• OOS dapat gagal ketika kondisi berubah: jika masa depan berbeda secara material dari distribusi pelatihan dan OOS, pengujian mungkin tidak memprediksi kinerja.
• Varians dan sampel kecil: jika jendela OOS pendek atau hasilnya jarang, hasil dapat didominasi oleh keacakan.
• Overfitting prosedural: inspeksi berulang, penyesuaian ambang batas, atau penyesuaian fitur setelah tinjauan OOS dapat membatalkan prinsip “belum terlihat.”

Model mental yang baik adalah bahwa OOS mengurangi satu jenis risiko (overfitting ke set pelatihan) tetapi tidak menghilangkan risiko lain (perubahan rezim, realisme evaluasi, bias seleksi, dan keacakan).

Verifikasi dan apa yang harus ditanyakan selanjutnya

Verifikasi independen atas klaim OOS berasal dari memeriksa apakah pengujian itu adil dan dapat direproduksi. Pertanyaan verifikasi yang berguna meliputi:

• Apakah data OOS benar-benar tidak tersentuh selama semua langkah pelatihan dan pembuatan fitur?
• Apakah pembagian didefinisikan sebelum penyetelan model dimulai?
• Apakah biaya dan asumsi eksekusi diterapkan secara konsisten di seluruh pelatihan, penyetelan, dan evaluasi OOS?
• Apakah kinerja OOS diukur dengan cara yang sama seperti yang akan dilakukan dalam praktik (unit, pengurangan biaya, dan waktu peristiwa)?
• Seberapa sensitif hasil terhadap pilihan pembagian alternatif (tanpa mengubah model setelah melihat OOS)?

Jika Anda dapat menjawab pertanyaan-pertanyaan ini dengan jelas, Anda dapat menjelaskan apa yang dilakukan pengujian OOS, di mana kekuatannya, dan di mana ia mungkin gagal. Jika tidak, hasil OOS mungkin mencerminkan artefak alur kerja daripada generalisasi.