Quali dati sono necessari per valutare l’R Quadrato?

Definire l’R Quadrato prima di raccogliere i dati

L’R Quadrato (spesso indicato come R²) è un valore riassuntivo che confronta quanto bene le previsioni di un modello corrispondono ai risultati osservati. L’idea comune è: quanta parte della variazione nella variabile dipendente osservata è spiegata dal modello, rispetto a un valore di riferimento che prevede qualcosa come la media.

Per valutare l’R Quadrato, è necessario innanzitutto conoscere la definizione esatta utilizzata (ad esempio, se viene calcolato a partire dalla somma totale dei quadrati e dalla somma residua dei quadrati nel modo standard, e se viene utilizzata una variante “aggiustata”). Diverse implementazioni possono riportare numeri diversi anche quando i dati sottostanti sono simili.

Dati di input necessari

Al minimo, sono necessarie tutte le informazioni per riprodurre il lato dipendente del calcolo.

1. Serie osservata della variabile dipendente

• Le osservazioni indicizzate temporalmente che formano i valori y.
• La frequenza di campionamento (ad esempio, ogni tick, ogni minuto, giornaliera), comprese le unità.
• Le regole di allineamento temporale (quando ciascun valore y è considerato “corrispondente” ai predittori).

2. Valori predetti o il modello adattato
   Si hanno due opzioni:

• Valori predetti: i valori y stimati dal modello per gli stessi punti temporali, con lo stesso ordine.
• Oppure, gli input del modello necessari per generare y stimato: la serie predittore (valori x), il metodo di stima e i parametri prodotti dall’adattamento.

3. Il valore di riferimento utilizzato nel denominatore
   La maggior parte delle formule R² utilizza un valore di riferimento che riflette la variazione attorno alla media della variabile dipendente osservata. Per valutare correttamente l’R², è necessario sapere quale valore di riferimento è stato utilizzato e se la media è calcolata sullo stesso insieme di dati utilizzato per i residui.

Verifiche su provenienza e preprocessing

L’R² non è solo una formula; dipende da ciò che è stato inserito nella serie.

Verificare e registrare:

• Provenienza dei dati: da dove provengono i dati (fonte o feed) e come sono stati ottenuti.
• Regole di filtraggio: se alcune osservazioni sono state rimosse a causa di errori, festività, outlier o bassa liquidità.
• Gestione dei valori mancanti: se i vuoti sono stati eliminati, riempiti in avanti, interpolati o trattati in altro modo.
• Trasformazioni: se sono state applicate scalature, trasformazioni logaritmiche, differenze o normalizzazioni, e se queste sono state applicate in modo coerente tra i periodi di addestramento e valutazione.

Rischio concreto: se x e y sono stati preprocessati in modo diverso, o se i timestamp non sono allineati, l’R² può apparire più alto o più basso per motivi non legati al vero potere esplicativo.

Tempestività e assunzioni di suddivisione temporale

Per valutare se un valore di R² è significativo, è necessario sapere come è stato utilizzato il tempo.

Si dovrebbe documentare:

• Se l’R² è stato calcolato sui dati utilizzati per adattare il modello o su dati trattenuti.
• La finestra temporale specifica utilizzata per l’addestramento rispetto alla valutazione.
• Se è stato utilizzato un approccio a finestra mobile o espansiva (l’approccio cambia il significato del risultato riportato).

Un errore comune è considerare l’R² in-sample come se descrivesse relazioni future. Le relazioni storiche possono cambiare quando il comportamento del mercato si modifica, quindi lo stesso metodo può produrre un R² diverso su dati successivi.

Evidenza o esempio: ciò che si può verificare in modo indipendente

Una checklist di verifica indipendente dovrebbe includere:

• Confermare la serie y esatta utilizzata (timestamp, unità e filtraggio).
• Confermare se il valore riportato ha utilizzato le previsioni y stimato o previsioni ricalcolate a partire dai parametri del modello archiviati.
• Confermare la definizione esatta di R² (e se è stato utilizzato l’R² aggiustato).
• Ricalcolare l’R² dai numeri forniti (y, y stimato, residui) utilizzando la formula dichiarata e lo stesso insieme di dati.

Se uno di questi elementi manca, l’R² riportato non può essere completamente verificato, poiché molti dettagli implementativi possono alterare il risultato.

Limitazioni e rischi (modalità di errore rilevanti)

Almeno una limitazione da considerare:

• Dipendenza dal modello: l’R² riflette l’adattamento sotto una particolare forma del modello. Se la relazione è non lineare o cambia nel tempo, lo stesso R² può essere fuorviante.

Altre limitazioni importanti:

• Non stazionarietà: se il processo generatore dei dati evolve, un alto R² in un periodo potrebbe non valere in seguito.
• Overfitting: se il modello è troppo flessibile, può adattarsi al rumore, gonfiando l’R² in-sample.
• Sensibilità al rumore e agli eventi rari: misurazioni rumorose possono causare un R² instabile tra diverse finestre temporali.
• Confronti fuorvianti: i valori di R² possono essere difficili da confrontare tra modelli se differiscono preprocessing, insiemi di caratteristiche o suddivisioni di valutazione.