Cara Menghitung Regresi Linier

Regresi linier, dalam istilah sederhana

Regresi linier adalah metode untuk memodelkan hubungan antara dua besaran:

• x: masukan (variabel independen)
• y: keluaran (variabel dependen)

Model ini mengasumsikan bahwa, secara rata-rata, y berubah kira-kira dalam pola garis lurus seiring perubahan x. Kata “kira-kira” itu penting: data hampir tidak pernah mengikuti garis yang tepat, sehingga model ini menyertakan istilah kesalahan.

Versi yang paling umum adalah kuadrat terkecil biasa (OLS), yang memilih garis lurus yang membuat kesalahan prediksi keseluruhan sekecil mungkin.

Perhitungan: model dan rumus

Model regresi linier ditulis sebagai:

[ \hat{y} = a + b x ]

Di mana:

• (\hat{y}) adalah nilai prediksi dari y
• (a) adalah intersep (prediksi y ketika x = 0)
• (b) adalah kemiringan (seberapa besar (\hat{y}) berubah ketika x bertambah 1)

Untuk menghitung a dan b, OLS menggunakan gagasan meminimalkan jumlah kuadrat residual.

Residual dan tujuan kuadrat terkecil

Untuk titik data ((x_i, y_i)) dengan (i=1,2,\dots,n):

• Residual: (e_i = y_i - \hat{y}_i)
• Jumlah kuadrat residual: (\sum_{i=1}^{n} e_i^2)

OLS memilih (a) dan (b) untuk meminimalkan jumlah tersebut.

Kemiringan (b)

Bentuk komputasi yang banyak digunakan untuk kemiringan adalah:

[ b = \frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2} ]

Di sini:

• (\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i)
• (\bar{y} = \frac{1}{n}\sum_{i=1}^{n} y_i)

Intuisi: pembilang adalah pergerakan bersama dari x dan y (bagaimana deviasi x sejajar dengan deviasi y). Penyebut adalah sebaran x di sekitar rata-ratanya.

Intersep (a)

Setelah (b) diketahui, intersep mengikuti persyaratan bahwa garis yang dipasangkan melewati titik ((\bar{x},\bar{y})):

[ a = \bar{y} - b\bar{x} ]

Data apa yang Anda butuhkan (dan apa yang harus benar)

Untuk menghitung regresi linier sederhana, Anda memerlukan:

1. Satu set pengamatan berpasangan ((x_i, y_i)) untuk (i=1\ldots n).
2. Variasi yang cukup dalam x, artinya (\sum (x_i-\bar{x})^2 \neq 0). Jika semua nilai x sama, kemiringan tidak dapat didefinisikan.
3. Makna yang jelas dari x dan y untuk kasus penggunaan Anda. Model selalu menghasilkan prediksi; model tidak secara otomatis memberi tahu Anda bahwa hubungan tersebut bersifat kausal.

Asumsi di balik penyesuaian “garis lurus”

Perhitungan OLS disertai dengan asumsi yang memengaruhi interpretasi:

• Bentuk garis (a + bx) adalah perkiraan yang sesuai untuk pola data.
• Kesalahan biasanya diperlakukan sebagai tidak terkait dengan x (lebih tepatnya, residual yang diharapkan untuk x tertentu sering diasumsikan 0).
• Residual tidak boleh menunjukkan struktur yang sistematis; jika demikian, garis lurus mungkin bukan pilihan yang baik.

Ini adalah asumsi tentang bagaimana data berperilaku, bukan tentang masa depan.

Pemeriksaan kerja dengan contoh kecil (tanpa perangkat lunak khusus)

Misalkan Anda memiliki 3 titik:
((x_1,y_1),(x_2,y_2),(x_3,y_3)). Untuk menghitung garis regresi:

1. Hitung (\bar{x}) dan (\bar{y}).
2. Hitung pembilang:
   (\sum (x_i-\bar{x})(y_i-\bar{y})).
3. Hitung penyebut:
   (\sum (x_i-\bar{x})^2).
4. Hitung (b) sebagai pembilang ÷ penyebut.
5. Hitung (a = \bar{y} - b\bar{x}).

Untuk memverifikasi, hitung setiap nilai yang dipasangkan (\hat{y}_i = a + b x_i), lalu hitung residual (e_i = y_i-\hat{y}_i). Jika residual besar atau menunjukkan pola kurva daripada acak, itu menunjukkan bahwa bentuk linier sederhana mungkin tidak cocok dengan data dengan baik.

Keterbatasan dan mode kegagalan

Meskipun aritmetikanya sederhana, regresi linier dapat menyesatkan ketika data melanggar gagasan di balik model.

1) Hubungan nonlinier

Jika hubungan yang sebenarnya melengkung (misalnya, naik lalu turun), garis lurus akan merata-ratakan perilaku tersebut. Keluarannya mungkin masih meminimalkan kesalahan kuadrat, tetapi dapat menyembunyikan struktur yang penting.

2) Pencilan dapat mendominasi

Karena kesalahan dikuadratkan dalam tujuan, titik ekstrem dapat sangat memengaruhi (a) dan (b). Satu pengamatan yang tidak biasa dapat menggeser garis yang dipasangkan secara signifikan.

3) x harus bervariasi

Jika x tidak memiliki sebaran (semua nilai x identik), penyebut dalam rumus kemiringan menjadi nol. Dalam kasus itu, Anda tidak dapat menghitung kemiringan yang bermakna.

4) “Kecocokan yang baik” tidak berarti kegunaan di masa depan

Pola historis dapat berubah. Regresi yang dipasangkan pada data masa lalu menggambarkan bagaimana data berperilaku dalam kumpulan data tersebut; itu tidak membuktikan bahwa pola yang sama akan bertahan.

Verifikasi: cara memeriksa hasil Anda secara independen

Untuk memverifikasi regresi linier yang dihitung secara independen, Anda dapat:

1. Hitung ulang (\bar{x}) dan (\bar{y}).
2. Hitung ulang kemiringan (b) menggunakan bentuk deviasi.
3. Hitung ulang intersep (a = \bar{y}-b\bar{x}).
4. Buat nilai yang dipasangkan (\hat{y}_i) dan residual (e_i).
5. Periksa residual:
   • Apakah sebagian besar kecil?
   • Apakah mereka tampak tersebar acak, atau menunjukkan pola sistematis?

Jika ada nilai yang dihitung tidak cocok dengan perhitungan ulang Anda, kemungkinan masalahnya adalah ketidakcocokan masukan (pasangan x/y yang berbeda, kekeliruan unit, atau urutan yang salah), bukan rumus regresinya.

Pertanyaan berikutnya untuk memperjelas

Sebelum menerapkan atau menafsirkan regresi linier, ada baiknya untuk memperjelas apa yang diwakili oleh x dan apakah perkiraan garis lurus itu masuk akal untuk data tersebut. Jika Anda ingin melangkah lebih jauh, membandingkan regresi linier dengan gagasan terkait seperti korelasi atau berbagai jenis regresi (misalnya, model dengan lebih banyak prediktor) dapat memperjelas apa yang berubah dalam perhitungan dan apa yang tetap sama.