Esempio pratico di test fuori campione

Risposta diretta

Il test fuori campione è un metodo per verificare come una regola decisionale (ad esempio, un modello predittivo o una regola di strategia) si comporta su dati non utilizzati durante l’addestramento o l’ottimizzazione. Un esempio pratico chiarisce la logica: si crea un modello utilizzando una prima parte dei dati storici, quindi lo si valuta su una porzione separata, detta “holdout”. L’obiettivo è stimare le prestazioni senza il bias ottimistico derivante dall’adattamento ai medesimi dati.

Un esempio pratico deve dichiarare esplicitamente le assunzioni, come la suddivisione dei dati, quali calcoli vengono ripetuti e come viene calcolata la prestazione. Deve inoltre indicare i limiti: i risultati fuori campione possono comunque fallire quando il mercato cambia, quando i costi e l’esecuzione non sono realistici, o quando informazioni dal periodo di valutazione filtrano nei passaggi di addestramento.

Meccanismo e definizione

Ecco il flusso principale, espresso in termini generali:

1. Scegli una famiglia di modelli e una procedura di addestramento. Questa è la parte che può “imparare” dai dati.
2. Suddividi il dataset disponibile in due insiemi disgiunti: un periodo in-campione (addestramento) e un periodo fuori-campione (test).
3. Addestra o ottimizza solo sull’insieme in-campione (inclusa la selezione di iperparametri o soglie).
4. Congela il modello e valutalo una sola volta sull’insieme fuori-campione.

Termini importanti in questo contesto:

• “In-campione” indica i dati utilizzati per l’addestramento/ottimizzazione.
• “Fuori-campione” indica i dati riservati per la valutazione.
• “Holdout” significa che il periodo di test non viene utilizzato per ulteriori decisioni di ottimizzazione.

Perché questo aiuta: quando si ottimizza sugli stessi dati su cui si valuta, si può accidentalmente catturare il rumore. Il test fuori campione riduce questo bias specifico forzando la valutazione su dati mai visti.

Esempio numerico o dimostrativo (con assunzioni esplicite)

Supponiamo di voler prevedere la direzione del giorno successivo (Su o Giù) basandosi su una caratteristica, X, calcolata a partire dalle informazioni giornaliere disponibili prima dell’inizio del giorno successivo.

Assunzioni per l’esempio:

• Hai 20 giorni sequenziali di dati.
• I giorni 1–12 sono in-campione; i giorni 13–20 sono fuori-campione.
• Il modello è una regola semplice: prevedi “Su” se X > T, altrimenti prevedi “Giù”.
• I valori di X e gli esiti effettivi del giorno successivo sono fissi (non arrivano nuovi dati).
• Durante l’ottimizzazione, puoi scegliere T utilizzando solo i giorni 1–12.
• Calcoli l’accuratezza come frazione di previsioni corrette sulla direzione del giorno successivo.

Passo A: Ottimizza T sull’insieme in-campione (giorni 1–12)
Supponiamo che, provando diverse soglie, la migliore soglia nei giorni 1–12 sia T = 0,50.

• Accuratezza in-campione con T=0,50: 9 corrette su 12 = 75%.

Passo B: Congela e valuta sull’insieme fuori-campione (giorni 13–20)
Ora applichi la regola congelata (Su se X>0,50, altrimenti Giù) ai giorni 13–20.
Supponiamo che la regola produca:

• 3 corrette su 8 giorni.
• Accuratezza fuori-campione = 3/8 = 37,5%.

Come interpretare questo risultato numerico

• Il punteggio in-campione (75%) suggerisce che la regola si adatti a qualcosa nel periodo di addestramento.
• La caduta fuori-campione al 37,5% indica che la relazione apparente in-campione non si è generalizzata bene nel periodo successivo.
• Questo non prova che la regola sia inutile per sempre; mostra soltanto che, con la suddivisione e le assunzioni dichiarate, le evidenze dal periodo di valutazione sono più deboli di quelle del training.

Limiti e modi di fallimento significativi

Il test fuori campione riduce una forma di bias, ma non garantisce prestazioni future affidabili. I limiti significativi includono:

1. Confronti multipli e uso eccessivo del test set
   Se si aggiusta ripetutamente T (o altre scelte) in base ai risultati del periodo di test, il test diventa parzialmente in-campione. Ciò reintroduce un bias ottimistico.

2. Fuga di informazioni (data leakage)
   Se qualsiasi parte del processo di addestramento utilizza accidentalmente informazioni non disponibili al momento della previsione (ad esempio, input derivati dal futuro), la stima fuori-campione può essere invalida anche con una suddivisione pulita.

3. Non stazionarietà (cambio di regime)
   Le serie temporali finanziarie possono cambiare comportamento nel tempo. Un modello che funziona in un periodo può fallire in un altro perché la relazione sottostante tra X e l’esito si è spostata.

4. Mancanza di realismo: costi ed esecuzione
   Anche se le previsioni di direzione fossero “corrette”, gli esiti reali dipendono dai costi di transazione, dagli spread e dai tempi di esecuzione. Metriche di valutazione semplificate possono sovrastimare i risultati pratici.

5. Effetti di piccolo campione
   Con dati fuori-campione limitati, la stima può avere un’alta variabilità. Un valore basso o alto potrebbe riflettere casualità piuttosto che una vera capacità di generalizzazione.