Regresi Linier

Apa itu regresi linier

Regresi linier adalah teknik statistik untuk memodelkan hubungan antara satu atau lebih input (sering disebut fitur) dan sebuah output (variabel target). Ide utamanya adalah model menyatakan output sebagai kombinasi linier dari input-input tersebut.

Dalam kasus paling sederhana, dengan satu input x dan satu output y, model biasanya ditulis sebagai:

• y ≈ b0 + b1·x

Di sini, b0 adalah intersep dan b1 adalah kemiringan (slope). “Linier” merujuk pada cara parameter masuk ke dalam persamaan (b0, b1, dst.), bukan pada bentuk hubungan antara variabel-variabel di dunia nyata. Dengan lebih banyak input, prinsip yang sama berlaku untuk banyak fitur.

Dalam riset forex, regresi linier sering digunakan sebagai alat deskriptif atau analitis—misalnya, untuk memperkirakan bagaimana sekumpulan variabel penjelas berhubungan dengan hasil yang diukur. Metode ini juga dapat digunakan untuk membentuk “model perubahan yang diharapkan” sebagai dasar ketika variabel-variabel tersebut memiliki hubungan statistik yang stabil.

Cara kerja regresi linier

Regresi linier memiliki alur kerja yang jelas: pilih variabel, sesuaikan parameter, dan evaluasi kecocokan.

1) Pilih input dan output

Anda menentukan variabel yang ingin dijelaskan (output) dan variabel yang akan digunakan sebagai prediktor (input). Misalnya, output Anda mungkin berupa return masa depan atau deret turunan lainnya, sementara input Anda mungkin berupa nilai masa lalu atau transformasi dari observasi pasar.

Poin praktis yang penting adalah bahwa pilihan pemrosesan data forex sangat menentukan: return vs. harga, seberapa jauh ke belakang input diambil, dan bagaimana Anda menyelaraskan waktu (untuk menghindari penggunaan informasi yang belum tersedia pada saat prediksi).

2) Sesuaikan parameter dengan meminimalkan kesalahan prediksi

Pendekatan umum adalah ordinary least squares (OLS). OLS memilih parameter (seperti b0 dan b1) sehingga jumlah selisih kuadrat antara output yang diamati dan prediksi model diminimalkan.

• Kesalahan prediksi untuk setiap titik data adalah nilai observasi dikurangi nilai prediksi.
• Kesalahan kuadrat memberikan penalti yang lebih besar untuk kesalahan yang lebih besar.

Hasilnya adalah serangkaian koefisien yang mendefinisikan persamaan yang disesuaikan.

3) Interpretasikan koefisien dengan hati-hati

Koefisien dapat diinterpretasikan sebagai asosiasi berdasarkan asumsi model. Dalam kasus satu input, kemiringan b1 menunjukkan seberapa besar perubahan output prediksi rata-rata untuk kenaikan satu unit pada x, dengan struktur model tetap.

Dengan banyak input, koefisien mencerminkan penyesuaian linier model di antara prediktor-prediktor tersebut. Namun, dalam data pasar nyata, prediktor dapat saling berkorelasi, yang dapat membuat interpretasi koefisien individual menjadi kurang stabil.

4) Evaluasi kinerja dan generalisasi

“Kecocokan yang baik” pada data yang sama yang digunakan untuk memperkirakan parameter tidak menjamin kegunaan pada data baru. Ide evaluasi umum meliputi:

• Memeriksa seberapa baik model memprediksi nilai yang tidak digunakan selama penyesuaian (pengujian out-of-sample).
• Menggunakan ukuran kesalahan yang sesuai dengan skala target.

Karena hubungan pasar dapat berubah, strategi validasi sangat penting. Tanpa itu, persamaan yang disesuaikan mungkin mencerminkan noise, bukan pola yang persisten.

Keterbatasan dan risiko dalam lingkungan pasar yang adaptif

Regresi linier sering dianggap sederhana, tetapi beberapa keterbatasan sering kali penting dalam keuangan.

1) Linearitas dan spesifikasi model yang salah

Regresi linier mengasumsikan bahwa output yang diharapkan berubah secara linier dengan input (dalam definisi fitur yang dipilih). Jika hubungan sebenarnya bersifat nonlinier, model linier mungkin secara sistematis melewatkan struktur.

Dalam praktiknya, hal ini dapat menyebabkan pola residual (kesalahan yang tidak tersebar acak) dan kecocokan yang terlalu optimis jika hanya dinilai secara in-sample.

2) Sensitivitas terhadap asumsi dan kondisi data

Penyesuaian OLS secara implisit bergantung pada kondisi statistik (seperti pola varians yang stabil dan tidak adanya struktur kesalahan yang sistematis). Jika kondisi tersebut dilanggar, estimasi koefisien dan ketidakpastian dapat menyesatkan.

Dalam data pasar, volatilitas dapat berubah seiring waktu, outlier dapat muncul, dan hubungan dapat bergeser. Efek-efek ini dapat mengurangi keandalan bahkan ketika regresi tampak “berfungsi” selama satu periode sampel.

3) Overfitting dan korelasi semu

Ketika banyak fitur digunakan atau ketika set fitur disetel berulang kali terhadap perilaku historis, model dapat menangkap pola yang tidak dapat digeneralisasi. Bahkan dengan lebih sedikit fitur, korelasi semu mungkin terjadi karena deret waktu keuangan bersifat noisy.

Untuk mengurangi risiko ini, Anda memerlukan validasi yang disiplin: pengujian holdout, penyelarasan waktu yang cermat, dan menghindari kebocoran informasi dari masa depan.

4) Non-stasioneritas dan perubahan rezim

Kondisi forex dapat berubah: likuiditas, volatilitas, dan pendorong perilaku dapat berbeda antar periode. Hubungan linier yang diestimasi pada satu periode mungkin tidak tetap valid.

Ini bukan kelemahan yang unik pada regresi linier; ini adalah risiko umum dalam menerapkan model statistik apa pun pada sistem yang non-stasioner. Namun, regresi linier dapat gagal secara diam-diam: ia dapat terus menghasilkan output numerik bahkan ketika hubungan yang mendasarinya telah melemah.

5) Menggunakan output untuk riset—bukan prediksi hasil

Regresi memberikan estimasi asosiasi di bawah model yang dipilih. Ini tidak secara inheren mendefinisikan kepastian tentang pergerakan pasar di masa depan.

Jika Anda memperlakukan output regresi sebagai sesuatu yang dijamin atau deterministik, Anda mengabaikan ketidakpastian yang tercermin dalam istilah kesalahan dan ketidakstabilan proses pembangkit data.

Cara memverifikasi apakah regresi linier masuk akal untuk penggunaan Anda

Pola pikir verifikasi praktis dapat membantu Anda menilai apakah regresi menggambarkan sesuatu yang berguna.

Pertama, periksa apakah residual (selisih antara nilai observasi dan nilai prediksi) berperilaku seperti noise daripada mengandung struktur yang konsisten. Kedua, uji kinerja pada data yang tidak digunakan untuk penyesuaian, idealnya dengan menghormati urutan waktu.

Ketiga, lakukan pemeriksaan ketahanan: variasikan definisi fitur dalam batas yang wajar, pastikan hasil tidak bergantung pada satu pilihan prapemrosesan, dan cari stabilitas di berbagai jendela waktu.

Terakhir, dokumentasikan asumsi: apa targetnya, bagaimana prediktor dibangun, dan bagaimana validasi dilakukan. Ini memungkinkan verifikasi independen atas klaim tentang perilaku model dalam pengaturan yang sama.

Perbandingan dengan ide linier terkait

Regresi linier terkait erat dengan model linier lain yang juga membentuk hubungan linier antara input dan output. Misalnya, model linier yang mencakup regularisasi masih mengandalkan struktur parameter linier, tetapi mereka memodifikasi tujuan penyesuaian untuk mengontrol kompleksitas.

Bahkan dengan varian seperti itu, pertanyaan inti yang sama tetap ada:

• Apakah representasi yang dipilih sesuai untuk hubungan tersebut?
• Apakah model dapat digeneralisasi ke data baru?
• Apakah hasilnya stabil di berbagai waktu dan pilihan prapemrosesan?

Dalam istilah riset forex, “output” metode ini selalu bersifat kondisional pada pengaturan pemodelan, dan ketidakpastian tidak dapat dihindari.

Batasan yang dapat Anda nilai secara independen

Anda biasanya dapat menilai hal-hal berikut tanpa bergantung pada klaim vendor atau perilaku broker tertentu:

• Apakah regresi mengurangi kesalahan relatif terhadap baseline sederhana.
• Apakah kinerja out-of-sample secara bermakna lebih baik daripada ekspektasi tingkat kebetulan.
• Apakah hubungan tersebut bertahan di beberapa periode waktu.