Quali sono i limiti della regressione lineare?

Regressione lineare in un minuto

La regressione lineare modella un risultato come una combinazione lineare di variabili di input. Nella sua forma più semplice, stima un’equazione del tipo: y = a + b·x, dove a è l’intercetta e b è il coefficiente angolare. L’“adattamento” tipicamente significa che il metodo sceglie i parametri (a e b) per ridurre un obiettivo come la differenza media quadratica tra valori predetti e osservati.

Quando si applica questo concetto in qualsiasi contesto (inclusa l’ingegnerizzazione di feature legate alla finanza), il limite principale non è l’aritmetica dell’adattamento, ma se le assunzioni alla base dell’adattamento rispecchiano il processo reale di generazione dei dati.

Meccanismo e punti in cui entrano le assunzioni

Un limite fondamentale è che la regressione lineare si basa su scelte modellistiche e assunzioni:

• Linearità: presuppone che il cambiamento atteso in y per ogni unità di variazione in x sia costante (dopo aver considerato altre variabili incluse). Se la relazione reale è non lineare, la retta stimata può mancare sistematicamente il pattern.
• Indipendenza e comportamento stabile degli errori: molte interpretazioni standard assumono che gli errori non siano fortemente correlati e abbiano una varianza approssimativamente costante. Se gli errori si raggruppano nel tempo o la varianza cambia, le stime di incertezza possono essere errate.
• Esonogeneità degli input (in termini causali): se x è influenzata da fattori non osservati che influenzano anche y, la relazione stimata può riflettere quei fattori nascosti piuttosto che un legame stabile.

Separare “meccanica” da “condizioni di mercato/fornitore” è importante perché la procedura di adattamento della regressione è deterministica dati i dati, ma l’ambiente reale che genera nuovi dati può differire.

Evidenze e modalità concrete di fallimento (con assunzioni dichiarate)

Considera un esempio semplificato in cui si adatta y = a + b·x utilizzando coppie storiche (x, y) e si valuta l’adattamento usando gli stessi dati storici. Un buon adattamento storico può verificarsi anche se la relazione non è affidabile.

Le modalità comuni di fallimento includono:

• Overfitting al rumore: con troppe variabili o con pattern esistenti solo in una finestra temporale limitata, il modello può adattarsi al caso passato.
• Cambiamenti di regime: se la relazione tra x e y cambia dopo il periodo di addestramento, i coefficienti precedenti non descrivono più il nuovo regime.
• Outlier e code pesanti: gli obiettivi basati sugli errori quadratici possono essere dominati da osservazioni estreme, portando a stime dei parametri più influenzate dagli outlier che dai dati tipici.
• Non stazionarietà: in molti dataset ordinati temporalmente, le distribuzioni possono evolvere. Una regressione addestrata in un periodo potrebbe non rappresentare periodi successivi.

In contesti finanziari, è comune che la “stessa” variabile si comporti diversamente in condizioni diverse (ad esempio, durante cambiamenti di volatilità). La regressione lineare non rileva automaticamente questi cambiamenti; semplicemente estrapola una relazione appresa finché i dati non smettono di corrispondere alle sue assunzioni.

Limitazioni e rischi

I principali limiti riguardano l’incertezza e la facilità con cui l’interpretazione può venir meno:

• Le relazioni storiche non garantiscono risultati futuri. Anche se il modello minimizza l’errore quadratico nel passato, non c’è garanzia che il processo futuro di generazione dei dati corrisponda alle condizioni di addestramento.
• Le stime e gli intervalli dipendono dalle assunzioni. Se la varianza dell’errore cambia o le osservazioni sono correlate, le dichiarazioni standard sull’incertezza possono essere troppo ottimistiche o mal calibrate.
• Sensibilità alla qualità dei dati: valori mancanti, preprocessing inconsistente o cambiamenti nella misurazione possono alterare i risultati.
• “Errata specificazione del modello”: anche quando il metodo funziona, la forma lineare potrebbe non essere la forma funzionale corretta.

Inoltre, gli esiti in contesti decisionali reali possono variare a causa di costi, differenze nell’esecuzione e vincoli specifici della giurisdizione. Questi fattori non sono catturati dall’adattamento della regressione, quindi una relazione apparentemente forte potrebbe non tradursi in prestazioni utilizzabili nel mondo reale.

Come verificare in modo indipendente ciò che è (e non è) supportato

Per verificare i limiti in modo che non presupponga un successo futuro, puoi controllare se le assunzioni sottostanti sembrano plausibili:

1. Usa una valutazione rispettosa del tempo: testa su dati successivi non utilizzati per stimare i parametri.
2. Controlla il comportamento dei residui: cerca pattern sistematici negli errori e segni di varianza variabile.
3. Verifica la stabilità: adatta modelli su diverse finestre temporali e osserva se i coefficienti variano in modo significativo.
4. Confronta forme funzionali: se una forma lineare semplice fallisce ripetutamente mentre alternative non lineari riducono l’errore sistematico, la limitazione è probabilmente un’errata specificazione.

Se devi spiegare chiaramente i limiti, concentrati su ciò che dovrebbe essere vero affinché la regressione sia significativa nel tuo contesto, e poi valuta dove potrebbe fallire.