Come Viene Calcolata la Regressione Lineare

Regressione lineare, in termini semplici

La regressione lineare è un metodo per modellare una relazione tra due quantità:

• x: l’input (variabile indipendente)
• y: l’output (variabile dipendente)

Il modello assume che, in media, y cambi approssimativamente secondo un andamento lineare al variare di x. L’aggettivo “approssimativamente” è importante: i dati quasi mai seguono esattamente una linea retta, quindi il modello include un termine di errore.

La versione più comune è la minimi quadrati ordinari (ordinary least squares, OLS), che sceglie la linea retta che rende il più piccolo possibile l’errore complessivo di previsione.

Il calcolo: modello e formula

Il modello di regressione lineare si scrive come:

[ \hat{y} = a + b x ]

Dove:

• (\hat{y}) è il valore previsto di y
• (a) è l’intercetta (il valore previsto di y quando x = 0)
• (b) è la pendenza (di quanto (\hat{y}) cambia quando x aumenta di 1)

Per calcolare a e b, OLS utilizza l’idea di minimizzare la somma dei quadrati dei residui.

Residui e obiettivo dei minimi quadrati

Per punti dati ((x_i, y_i)) con (i=1,2,\dots,n):

• Residuo: (e_i = y_i - \hat{y}_i)
• Somma dei quadrati dei residui: (\sum_{i=1}^{n} e_i^2)

OLS sceglie (a) e (b) per minimizzare tale somma.

Pendenza (b)

Una forma computazionale comunemente usata per la pendenza è:

[ b = \frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2} ]

Dove:

• (\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i)
• (\bar{y} = \frac{1}{n}\sum_{i=1}^{n} y_i)

Intuizione: il numeratore rappresenta la covariazione di x e y (come le deviazioni di x si allineano con quelle di y). Il denominatore rappresenta la dispersione di x attorno alla sua media.

Intercetta (a)

Una volta noto (b), l’intercetta deriva dal requisito che la linea adattata passi per il punto ((\bar{x},\bar{y})):

[ a = \bar{y} - b\bar{x} ]

Dati necessari (e condizioni da soddisfare)

Per calcolare una regressione lineare semplice sono necessari:

1. Un insieme di osservazioni accoppiate ((x_i, y_i)) per (i=1\ldots n).
2. Una sufficiente variabilità in x, ovvero (\sum (x_i-\bar{x})^2 \neq 0). Se tutti i valori di x sono uguali, la pendenza è indefinita.
3. Un significato chiaro di x e y nel contesto d’uso. Il modello produce sempre previsioni; non indica automaticamente che la relazione sia causale.

Assunzioni alla base dell’adattamento lineare

I calcoli OLS si basano su assunzioni che influenzano l’interpretazione:

• La forma lineare (a + bx) è un’approssimazione adeguata per il modello dei dati.
• Gli errori sono generalmente considerati non correlati a x (più precisamente, si assume spesso che il residuo atteso dato x sia 0).
• I residui non dovrebbero mostrare strutture sistematiche; se lo fanno, una linea retta potrebbe essere una scelta inadeguata.

Queste sono assunzioni sul comportamento dei dati, non sul futuro.

Esempio pratico (senza software specifico)

Supponiamo di avere 3 punti:
((x_1,y_1),(x_2,y_2),(x_3,y_3)). Per calcolare la retta di regressione:

1. Calcolare (\bar{x}) e (\bar{y}).
2. Calcolare il numeratore:
   (\sum (x_i-\bar{x})(y_i-\bar{y})).
3. Calcolare il denominatore:
   (\sum (x_i-\bar{x})^2).
4. Calcolare (b) come numeratore ÷ denominatore.
5. Calcolare (a = \bar{y} - b\bar{x}).

Per verificare, calcolare ogni valore stimato (\hat{y}_i = a + b x_i), quindi calcolare i residui (e_i = y_i-\hat{y}_i). Se i residui sono ampi o mostrano un andamento curvilineo anziché essere casuali, ciò indica che la forma lineare semplice potrebbe non adattarsi bene ai dati.

Limiti e casi di fallimento

Anche se l’aritmetica è semplice, la regressione lineare può essere fuorviante quando i dati violano le ipotesi del modello.

1) Relazioni non lineari

Se la relazione reale è curvilinea (ad esempio, cresce e poi decresce), una linea retta medierà tale comportamento. L’output potrebbe comunque minimizzare gli errori quadratici, ma potrebbe nascondere strutture importanti.

2) Gli outlier possono dominare

Poiché gli errori sono elevati al quadrato nella funzione obiettivo, punti estremi possono influenzare fortemente (a) e (b). Una singola osservazione anomala può spostare notevolmente la linea adattata.

3) x deve variare

Se x non ha dispersione (tutti i valori di x identici), il denominatore nella formula della pendenza diventa zero. In tal caso, non è possibile calcolare una pendenza significativa.

4) Un “buon adattamento” non implica utilità futura

I modelli storici possono cambiare. Una regressione calibrata su dati passati descrive come si sono comportati i dati in quel campione; non dimostra che lo stesso andamento persista.

Verifica: come controllare autonomamente il risultato

Per verificare autonomamente una regressione lineare calcolata, è possibile:

1. Ricalcolare (\bar{x}) e (\bar{y}).
2. Ricalcolare la pendenza (b) utilizzando la forma delle deviazioni.
3. Ricalcolare l’intercetta (a = \bar{y}-b\bar{x}).
4. Generare i valori stimati (\hat{y}_i) e i residui (e_i).
5. Esaminare i residui:
   • Sono per lo più piccoli?
   • Sono distribuiti casualmente, o mostrano schemi sistematici?

Se un valore calcolato non corrisponde alla ricalcolazione, il problema più probabile è una discrepanza nei dati (accoppiamento errato di x/y, confusione di unità o ordinamento sbagliato), non nelle formule della regressione.

Prossima domanda da chiarire

Prima di applicare o interpretare una regressione lineare, è utile chiarire cosa rappresenta x e se un’approssimazione lineare sia ragionevole per quei dati. Se si desidera approfondire, confrontare la regressione lineare con concetti correlati come la correlazione o altri tipi di regressione (ad esempio modelli con più predittori) può chiarire cosa cambia nei calcoli e cosa rimane invariato.