Limitazioni dei Test Fuori Campione

Risposta diretta

I test fuori campione servono a stimare quanto bene un modello o una regola possano funzionare su dati non visti durante la fase di adattamento. Il loro limite principale è che i dati “non visti” sono comunque dati storici, non equivalenti alle condizioni future e reali. Anche quando i risultati fuori campione sembrano solidi, possono sussistere errori dovuti a cambiamenti nel comportamento del mercato, assunzioni imperfette (soprattutto riguardo costi ed esecuzione) e scelte relative alla suddivisione dei dati e alla valutazione.

Meccanismo e definizione

Un flusso di lavoro tipico prevede: (1) adattare un modello o una regola decisionale utilizzando un periodo di training, (2) testarlo su un periodo fuori campione che il modello non ha usato per la selezione dei parametri, e (3) confrontare metriche come rendimento medio, drawdown o misure simili all’accuratezza (per classificazioni). L’obiettivo è rilevare l’overfitting: la tendenza di una regola ad adattarsi al rumore presente nel set di training.

I test fuori campione riducono un rischio specifico — riutilizzare gli stessi dati sia per ottimizzare che per valutare. Tuttavia, non eliminano altre fonti di incertezza. Il test dipende ancora da assunzioni su cosa fosse disponibile all’epoca, su come i trade sarebbero stati eseguiti e su se le relazioni statistiche del passato persistano nel tempo.

Per rendere interpretabile qualsiasi calcolo, è necessario dichiarare le assunzioni. Ad esempio: quali finestre temporali definiscono esattamente il training rispetto al test, se esistono finestre sovrapposte, come si gestiscono i dati mancanti e quali spread, commissioni e slippage sono modellati (o ignorati). Senza questi dettagli, due persone possono descrivere esperimenti diversi pur usando la stessa terminologia.

Evidenza o esempio (modi di fallimento)

Considera una regola che appare stabile quando testata su un singolo intervallo fuori campione. Possono comunque verificarsi diversi modi di fallimento significativi:

1. Cambiamento dei dati (cambio di regime): Se volatilità, liquidità, spread o dinamiche di prezzo tipiche cambiano dopo il periodo fuori campione, il modello potrebbe estrapolare in modo errato. I dati storici “non visti” non garantiscono la copertura di futuri regimi di mercato.

2. Effetti nascosti di selezione: Anche con una chiara separazione tra training e test, si può accidentalmente selezionare la configurazione “migliore” provando molte varianti e concentrandosi su quella con le migliori prestazioni fuori campione. Il risultato può apparire ottimistico perché la valutazione diventa parte del processo di selezione.

3. Divergenza della metrica di valutazione: Un modello può ottenere un buon punteggio su una metrica che non rispecchia i vincoli reali. Ad esempio, una strategia potrebbe mostrare prestazioni medie accettabili ma dipendere da eventi rari difficili da eseguire in modo affidabile.

4. Incertezza sui costi e sull’esecuzione: I backtest spesso usano assunzioni semplificate. I risultati reali possono differire quando si includono spread realistici, commissioni, effetti di funding/overnight, latenza, comportamento di riempimento degli ordini o una gestione del rischio più conservativa. I test fuori campione possono essere internamente coerenti con le proprie assunzioni, ma comunque fuorvianti rispetto alle condizioni operative reali.

5. Limiti della dimensione del campione: Se la finestra fuori campione è breve, le stime delle prestazioni hanno un’alta varianza. Un risultato apparentemente affidabile potrebbe essere dovuto al caso.

Limitazioni e rischi

Le limitazioni possono essere riassunte come una serie di problemi legati a ciò “che non hai controllato”:

• Le relazioni storiche potrebbero non persistere. I test fuori campione misurano la dipendenza da schemi passati, non la certezza futura.
• Le assunzioni sono variabili. Costi, esecuzione e dettagli operativi sono spesso le differenze più grandi tra backtest e realtà.
• L’incertezza permane anche senza overfitting. Rimuovere l’overfitting nel set di training non garantisce la generalizzazione in caso di cambiamenti nella distribuzione dei dati.
• I risultati possono essere fragili. Le prestazioni possono dipendere fortemente dalla suddivisione esatta, dai passaggi precisi di preprocessing e dal modo specifico in cui i trade sono simulati.

A causa di questi problemi, i test fuori campione sono più affidabili come controllo di robustezza che come prova definitiva. Forniscono evidenza in condizioni specifiche, non certezza.

Verifica o prossima domanda

Per verificare in modo indipendente le affermazioni su un test fuori campione, è essenziale concentrarsi sulla riproducibilità piuttosto che sulla persuasione. Chiedi: (1) la definizione esatta dei periodi di training e fuori campione, (2) i passaggi di preprocessing e le regole di pulizia dei dati, (3) le assunzioni sui costi e sull’esecuzione utilizzate nel test, (4) quante configurazioni o iperparametri sono stati provati prima di selezionare quella riportata, e (5) se i risultati sono coerenti attraverso diverse suddivisioni non sovrapposte.

Una domanda utile successiva è: Quanto sono sensibili i risultati alla suddivisione, alla lunghezza della finestra temporale e al modello di esecuzione/costo? Se piccoli cambiamenti alterano sostanzialmente le conclusioni, allora il test fuori campione segnala fragilità piuttosto che robustezza.