Jak obliczana jest regresja liniowa

Regresja liniowa w prostych słowach

Regresja liniowa to metoda modelowania zależności między dwiema wielkościami:

• x: zmienna wejściowa (zmienna niezależna)
• y: zmienna wyjściowa (zmienna zależna)

Model zakłada, że średnio y zmienia się w przybliżeniu w sposób liniowy wraz ze zmianą x. „W przybliżeniu” jest ważne: dane prawie nigdy nie układają się w idealną linię, dlatego model zawiera składnik błędu.

Najczęściej stosowaną wersją jest zwykła metoda najmniejszych kwadratów (OLS), która wybiera linię prostą, czyniącą całkowite błędy przewidywań możliwie najmniejszymi.

Obliczenia: model i wzór

Model regresji liniowej zapisuje się jako:

[ \hat{y} = a + b x ]

Gdzie:

• (\hat{y}) to przewidywana wartość y
• (a) to wyraz wolny (przewidywane y, gdy x = 0)
• (b) to nachylenie (o ile zmienia się (\hat{y}), gdy x wzrasta o 1)

Aby obliczyć a i b, metoda OLS wykorzystuje ideę minimalizacji sumy kwadratów reszt.

Reszty i cel metody najmniejszych kwadratów

Dla punktów danych ((x_i, y_i)), gdzie (i=1,2,\dots,n):

• Reszta: (e_i = y_i - \hat{y}_i)
• Suma kwadratów reszt: (\sum_{i=1}^{n} e_i^2)

Metoda OLS wybiera (a) i (b), aby zminimalizować tę sumę.

Nachylenie (b)

Powszechnie stosowana forma obliczeniowa nachylenia to:

[ b = \frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2} ]

Tutaj:

• (\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i)
• (\bar{y} = \frac{1}{n}\sum_{i=1}^{n} y_i)

Intuicja: licznik to współzmienność x i y (jak odchylenia x układają się względem odchyleń y). Mianownik to rozrzut x wokół jego średniej.

Wyraz wolny (a)

Gdy (b) jest znane, wyraz wolny wynika z wymogu, aby dopasowana linia przechodziła przez punkt ((\bar{x},\bar{y})):

[ a = \bar{y} - b\bar{x} ]

Jakie dane są potrzebne (i co musi być prawdą)

Aby obliczyć prostą regresję liniową, potrzebujesz:

1. Zestawu par obserwacji ((x_i, y_i)) dla (i=1\ldots n).
2. Wystarczającej zmienności x, co oznacza, że (\sum (x_i-\bar{x})^2 \neq 0). Jeśli wszystkie wartości x są takie same, nachylenie jest niezdefiniowane.
3. Jasnego znaczenia x i y dla Twojego przypadku użycia. Model zawsze generuje przewidywania; nie mówi automatycznie, że zależność ma charakter przyczynowy.

Założenia stojące za dopasowaniem „linii prostej”

Obliczenia OLS wiążą się z założeniami, które wpływają na interpretację:

• Forma liniowa (a + bx) jest odpowiednim przybliżeniem wzorca danych.
• Błędy są zwykle traktowane jako niezwiązane z x (dokładniej, często zakłada się, że oczekiwana reszta przy danym x wynosi 0).
• Reszty nie powinny wykazywać systematycznej struktury; jeśli ją wykazują, linia prosta może być złym wyborem.

Są to założenia dotyczące zachowania danych, a nie przyszłości.

Praktyczne sprawdzenie na małym przykładzie (bez specjalnego oprogramowania)

Załóżmy, że masz 3 punkty:
((x_1,y_1),(x_2,y_2),(x_3,y_3)). Aby obliczyć linię regresji:

1. Oblicz (\bar{x}) i (\bar{y}).
2. Oblicz licznik:
   (\sum (x_i-\bar{x})(y_i-\bar{y})).
3. Oblicz mianownik:
   (\sum (x_i-\bar{x})^2).
4. Oblicz (b) jako licznik ÷ mianownik.
5. Oblicz (a = \bar{y} - b\bar{x}).

Aby zweryfikować, oblicz każdą dopasowaną wartość (\hat{y}_i = a + b x_i), a następnie oblicz reszty (e_i = y_i-\hat{y}_i). Jeśli reszty są duże lub wykazują wzór krzywoliniowy zamiast losowego rozrzutu, oznacza to, że prosta forma liniowa może nie pasować dobrze do danych.

Ograniczenia i sposoby zawodności

Mimo że arytmetyka jest prosta, regresja liniowa może być myląca, gdy dane naruszają ideę stojącą za modelem.

1) Zależności nieliniowe

Jeśli prawdziwa zależność jest krzywoliniowa (na przykład najpierw rośnie, potem maleje), linia prosta będzie uśredniać to zachowanie. Wynik może nadal minimalizować błędy kwadratowe, ale może ukrywać ważną strukturę.

2) Wartości odstające mogą dominować

Ponieważ błędy są podnoszone do kwadratu w funkcji celu, punkty ekstremalne mogą silnie wpływać na (a) i (b). Pojedyncza nietypowa obserwacja może znacznie przesunąć dopasowaną linię.

3) x musi się zmieniać

Jeśli x nie ma rozrzutu (wszystkie wartości x są identyczne), mianownik we wzorze na nachylenie staje się zerem. W takim przypadku nie można obliczyć sensownego nachylenia.

4) „Dobre dopasowanie” nie oznacza przydatności w przyszłości

Wzorce historyczne mogą się zmieniać. Regresja dopasowana do danych z przeszłości opisuje, jak dane zachowywały się w tym zbiorze; nie dowodzi, że ten sam wzorzec będzie się utrzymywał.

Weryfikacja: jak niezależnie sprawdzić swój wynik

Aby niezależnie zweryfikować obliczoną regresję liniową, możesz:

1. Przeliczyć (\bar{x}) i (\bar{y}).
2. Przeliczyć nachylenie (b) za pomocą formy odchyleń.
3. Przeliczyć wyraz wolny (a = \bar{y}-b\bar{x}).
4. Wygenerować dopasowane wartości (\hat{y}_i) i reszty (e_i).
5. Sprawdzić reszty:
   • Czy są w większości małe?
   • Czy wyglądają na losowo rozrzucone, czy wykazują systematyczne wzorce?

Jeśli któraś z obliczonych wartości nie zgadza się z Twoim przeliczeniem, prawdopodobną przyczyną jest niezgodność danych wejściowych (inne parowanie x/y, pomyłka jednostek lub błędna kolejność), a nie wzory regresji.

Kolejne pytanie do wyjaśnienia

Przed zastosowaniem lub interpretacją regresji liniowej warto wyjaśnić, co reprezentuje x i czy przybliżenie liniowe jest rozsądne dla tych danych. Jeśli chcesz pójść dalej, porównanie regresji liniowej z pokrewnymi pojęciami, takimi jak korelacja, lub z różnymi typami regresji (np. modelami z większą liczbą predyktorów), może pomóc wyjaśnić, co zmienia się w obliczeniach, a co pozostaje takie samo.