Apa saja keterbatasan Regresi Linear?

Regresi linear dalam satu menit

Regresi linear memodelkan suatu hasil sebagai kombinasi linear dari variabel input. Dalam bentuknya yang paling sederhana, regresi linear memperkirakan persamaan seperti: y = a + b·x, di mana a adalah intersep dan b adalah kemiringan (slope). “Kecocokan” biasanya berarti metode tersebut memilih parameter (a dan b) untuk mengurangi suatu tujuan seperti rata-rata selisih kuadrat antara nilai prediksi dan nilai yang diamati.

Ketika Anda menerapkan ide ini dalam pengaturan apa pun (termasuk rekayasa fitur terkait keuangan), keterbatasan utamanya bukanlah aritmetika dari kecocokan itu—melainkan apakah asumsi di balik kecocokan tersebut menyerupai proses pembangkitan data yang sebenarnya.

Mekanisme dan di mana asumsi berperan

Keterbatasan dasar adalah bahwa regresi linear dibangun di sekitar pilihan pemodelan dan asumsi:

• Linearitas: regresi linear mengasumsikan bahwa perubahan yang diharapkan pada y per unit perubahan pada x adalah konstan (setelah memperhitungkan variabel lain yang disertakan). Jika hubungan yang sebenarnya bersifat nonlinear, garis yang cocok dapat secara sistematis meleset dari pola.
• Independensi dan perilaku galat yang stabil: banyak interpretasi standar mengasumsikan bahwa galat tidak berkorelasi kuat dan memiliki varians yang kurang lebih konstan. Jika galat mengelompok seiring waktu atau varians berubah, perkiraan ketidakpastian bisa menjadi salah.
• Eksogenitas input (dalam istilah kausal): jika x dipengaruhi oleh faktor tak teramati yang juga memengaruhi y, hubungan yang cocok dapat mencerminkan faktor tersembunyi tersebut daripada hubungan yang stabil.

Memisahkan “mekanika” dari “kondisi pasar/penyedia” itu penting karena prosedur pencocokan regresi bersifat deterministik mengingat data, tetapi lingkungan dunia nyata yang menghasilkan data baru mungkin berbeda.

Bukti dan mode kegagalan konkret (dengan asumsi yang dinyatakan)

Pertimbangkan contoh mainan di mana Anda mencocokkan y = a + b·x menggunakan pasangan (x, y) historis dan mengevaluasi kecocokan menggunakan data historis yang sama. Kecocokan historis yang baik dapat terjadi bahkan jika hubungan tersebut tidak dapat diandalkan.

Mode kegagalan umum meliputi:

• Overfitting pada noise: dengan terlalu banyak variabel, atau dengan pola yang hanya ada dalam jendela waktu terbatas, model dapat mencocokkan keacakan masa lalu.
• Pergeseran rezim: jika hubungan antara x dan y berubah setelah periode pelatihan, koefisien sebelumnya tidak lagi menggambarkan rezim baru.
• Pencilan dan ekor berat: tujuan galat kuadrat dapat didominasi oleh pengamatan ekstrem, yang mengarah pada perkiraan parameter yang lebih mencerminkan pencilan daripada data tipikal.
• Non-stasioneritas: dalam banyak kumpulan data yang diurutkan berdasarkan waktu, distribusi dapat bergeser. Regresi yang dilatih pada satu periode mungkin tidak mewakili periode berikutnya.

Dalam konteks terkait keuangan, juga umum bagi variabel yang “sama” untuk berperilaku berbeda di berbagai kondisi (misalnya, selama perubahan volatilitas). Regresi linear tidak secara otomatis mendeteksi pergeseran tersebut; regresi linear hanya mengekstrapolasi hubungan yang dipelajari sampai data berhenti cocok dengan asumsinya.

Keterbatasan dan risiko

Keterbatasan utama berkaitan dengan ketidakpastian dan seberapa mudah interpretasi tersebut rusak:

• Hubungan historis tidak menetapkan hasil masa depan. Bahkan jika model meminimalkan galat kuadrat di masa lalu, tidak ada jaminan bahwa proses pembangkitan data di masa depan cocok dengan kondisi pelatihan.
• Perkiraan dan interval bergantung pada asumsi. Jika varians galat berubah atau pengamatan berkorelasi, pernyataan ketidakpastian standar bisa terlalu optimis atau salah kalibrasi.
• Sensitivitas terhadap kualitas data: nilai yang hilang, prapemrosesan yang tidak konsisten, atau pengukuran yang berubah dapat mengubah hasil.
• “Kesalahan spesifikasi model”: bahkan ketika metode berjalan, bentuk linear mungkin merupakan bentuk fungsional yang salah.

Secara terpisah, hasil dalam pengaturan keputusan nyata dapat bervariasi karena biaya, perbedaan eksekusi, dan kendala khusus yurisdiksi. Faktor-faktor tersebut tidak ditangkap oleh kecocokan regresi saja, sehingga hubungan yang tampaknya kuat mungkin tidak diterjemahkan menjadi kinerja dunia nyata yang dapat digunakan.

Cara memverifikasi secara independen apa yang didukung (dan apa yang tidak)

Untuk memverifikasi keterbatasan dengan cara yang tidak mengasumsikan keberhasilan masa depan, Anda dapat memeriksa apakah asumsi yang mendasarinya tampak masuk akal:

1. Gunakan evaluasi yang menghormati waktu: uji pada data selanjutnya yang tidak digunakan untuk mencocokkan parameter.
2. Periksa perilaku residual: cari pola sistematis dalam galat dan tanda-tanda perubahan varians.
3. Uji stabilitas: cocokkan model pada beberapa jendela dan lihat apakah koefisien bervariasi secara dramatis.
4. Bandingkan bentuk fungsional: jika bentuk linear sederhana berulang kali gagal sementara alternatif nonlinear mengurangi galat sistematis, keterbatasannya kemungkinan adalah kesalahan spesifikasi.

Jika Anda perlu menjelaskan keterbatasan dengan jelas, fokuslah pada apa yang harus benar agar regresi menjadi bermakna dalam konteks Anda, lalu nilai di mana hal itu bisa gagal.