Apa Itu Contoh Kerja dari Overfitting? Skenario Numerik dengan Asumsi

Jawaban langsung

Contoh kerja dari overfitting menunjukkan bagaimana sebuah model dapat terlihat akurat pada data yang digunakan untuk melatihnya, namun berkinerja buruk pada data baru. Overfitting tidak dijamin terjadi; ini adalah risiko yang meningkat ketika model menjadi lebih kompleks relatif terhadap jumlah dan variabilitas data yang tersedia.

Mekanisme atau definisi

Overfitting berarti proses pembelajaran mencocokkan keanehan dalam dataset pelatihan—noise acak, keanehan, atau korelasi yang tidak disengaja—daripada mempelajari hubungan yang stabil yang juga berlaku untuk data masa depan.

Cara sederhana untuk memikirkannya:

• Kecocokan pelatihan (in-sample): seberapa baik model mencocokkan data historis yang dilihatnya selama pelatihan.
• Kecocokan pengujian (out-of-sample): seberapa baik model tetap yang sama mencocokkan data baru yang tidak digunakan untuk pelatihan.

Jika kecocokan pelatihan meningkat seiring dengan meningkatnya kompleksitas model, tetapi kecocokan pengujian tetap sama atau memburuk, pola tersebut konsisten dengan overfitting.

Bukti atau contoh (dengan setiap asumsi)

Pertimbangkan situasi di mana Anda harus memprediksi nilai target y dari satu input x menggunakan dataset yang sangat kecil.

Asumsi

1. Kita memiliki 4 observasi berlabel untuk pelatihan: (x, y): (1,2), (2,4), (3,6), (4,8).
2. Kita akan membandingkan dua model:
   • Model A: garis lurus yang dipaksa melewati titik asal, y = m x.
   • Model B: polinomial derajat 3 yang cocok persis dengan semua 4 titik pelatihan.
3. Kita mendefinisikan kesalahan sebagai kesalahan kuadrat rata-rata (MSE) pada set pengujian terpisah.
4. Kita berasumsi titik pengujian adalah: (x, y): (5,10) dan (6,12).
5. Kita berasumsi Model B mempertahankan bentuk polinomial yang dipasangnya tidak berubah saat dievaluasi pada titik pengujian.
6. Kita menambahkan tanpa biaya transaksi, slippage, atau kendala eksekusi (untuk menjaga contoh murni matematis).

Langkah 1: Pasang Model A (linear melalui titik asal)

Data pelatihan mengikuti y = 2x secara tepat, sehingga m terbaik untuk Model A adalah m = 2.

• Kesalahan pelatihan untuk Model A: 0 MSE.

Pada set pengujian:

• Untuk x=5, prediksi y = 2·5 = 10 (cocok dengan aktual)
• Untuk x=6, prediksi y = 2·6 = 12 (cocok dengan aktual) Jadi kesalahan pengujian untuk Model A juga 0 MSE.

Langkah 2: Pasang Model B (polinomial derajat-3 yang cocok persis dengan pelatihan)

Karena Model B cukup fleksibel, ia dapat mencocokkan 4 titik pelatihan dengan sempurna, sehingga:

• Kesalahan pelatihan untuk Model B: 0 MSE.

Namun, model ini tidak “mengetahui” aturan yang mendasarinya. Dengan hanya 4 titik pelatihan, ada banyak perilaku tak terbatas di luar titik-titik tersebut; banyak kecocokan derajat-3 akan cocok dengan pelatihan sambil berbeda pada titik pengujian. Dalam skenario kerja ini, asumsikan polinomial derajat-3 yang dipelajari menyiratkan prediksi pada set pengujian sebesar:

• x=5 → prediksi y = 9
• x=6 → prediksi y = 13 (Nilai-nilai ini konsisten dengan gagasan bahwa fleksibilitas ekstra dapat mendistorsi ekstrapolasi.)

Maka MSE pengujian untuk Model B adalah:

• Kesalahan: (9−10) = −1 dan (13−12) = +1
• Kesalahan kuadrat: 1 dan 1
• MSE = (1+1)/2 = 1

Apa yang ini tunjukkan

• Kedua model memiliki kesalahan pelatihan nol.
• Model A menggeneralisasi dalam skenario ini.
• Model B dapat menggeneralisasi dengan buruk bahkan dengan kesalahan pelatihan nol.

Pelajaran konseptual adalah mengapa overfitting itu masuk akal: model yang lebih kompleks dapat mencocokkan pola pelatihan secara tepat, tetapi itu tidak menjamin pola yang sama ada di data masa depan.

Keterbatasan dan risiko

1. Tidak ada jaminan dari kecocokan historis: kecocokan pelatihan yang sempurna tidak menyiratkan kinerja masa depan. Hubungan tersebut mungkin bersifat kebetulan atau spesifik rezim.
2. Dataset kecil memperbesar overfitting: dengan lebih sedikit titik data, banyak fungsi kompleks yang berbeda dapat cocok dengan pelatihan sambil berbeda di tempat lain.
3. Risiko kebocoran data: jika informasi dari periode pengujian secara tidak sengaja memengaruhi pelatihan (bahkan secara tidak langsung), hasil pengujian bisa terlalu optimis.
4. Perubahan rezim dan noise: jika proses pembuatan data berubah, hubungan yang “stabil” dapat hilang.
5. Pilihan evaluasi penting: pembagian latih/uji yang berbeda, metrik, dan definisi kesalahan dapat mengubah apakah Anda mengamati overfitting.

Verifikasi atau pertanyaan berikutnya

Untuk memverifikasi secara independen apakah overfitting terjadi, bandingkan kesalahan in-sample dan out-of-sample sambil mengendalikan kompleksitas:

• Mulailah dengan kelas model yang lebih sederhana.
• Tingkatkan fleksibilitas secara bertahap.
• Amati apakah kesalahan pelatihan menurun tetapi kesalahan pengujian meningkat.

Pertanyaan praktis berikutnya adalah: *Seberapa sensitif hasil terhadap pembagian latih/uji spesifik dan metrik evaluasi?