Come Funziona il Test Fuori Campione nel Forex: Meccanismo, Input, Output e Limiti

Risposta diretta

Il test fuori campione (Out Of Sample Testing) nel forex è un approccio di validazione utilizzato per stimare come si comporterebbe un’idea di trading applicata a dati storici mai visti in precedenza. L’idea principale consiste nel suddividere i dati storici sui prezzi in almeno due parti: una parte per costruire o regolare un modello (in-sample) e un’altra parte tenuta da parte (out-of-sample) per valutarne le prestazioni. Questo aiuta a ridurre il rischio che i risultati riflettano soltanto schemi appresi dai dati utilizzati per creare le regole.

Tale metodo non garantisce risultati futuri, poiché il comportamento del mercato forex cambia nel tempo e perché le differenze tra backtest e operatività reale (costi, spread, esecuzione ordini e vincoli pratici) possono alterare gli esiti. Tuttavia, fornisce un metodo strutturato per verificare se la valutazione è “abbastanza indipendente” da essere informativa.

Meccanica e termini chiave

Si parte da una regola o da un sistema di trading descritto da parametri. I parametri possono essere elementi come lunghezze di lookback, soglie o controlli di rischio. L’intero flusso di lavoro è comunemente descritto come una forma di backtesting accompagnata da una suddivisione dei dati.

1) Scelta del dataset e della regola di suddivisione Si prendono dati storici sul forex (ad esempio, prezzi a barre, dati tick o un feed in stile broker, se disponibili) e li si dividono in:

• In-sample (addestramento/costruzione): utilizzati per adattare i parametri o decidere quali regole mantenere.
• Out-of-sample (test/holdout): non utilizzati durante la fase di adattamento.

Una regola di suddivisione può essere basata sul tempo (dati più vecchi in-sample, dati più recenti out-of-sample) o su blocchi. Nel forex, le suddivisioni basate sul tempo sono spesso utilizzate per evitare di “vedere il futuro”.

2) Costruzione sull’in-sample Utilizzando il periodo in-sample, si esegue la logica di trading per calcolare metriche di performance regolando i parametri. Questo passaggio mira a creare un candidato funzionante, non a stimare risultati futuri.

3) Congelamento del candidato Una volta scelte le regole e i parametri del candidato, questi vengono “congelati”. Nessun ulteriore aggiustamento dei parametri deve essere effettuato utilizzando i dati out-of-sample, altrimenti l’holdout perde indipendenza.

4) Valutazione sull’out-of-sample Si esegue nuovamente la logica congelata sul periodo out-of-sample e si calcolano le stesse metriche.

5) Confronto tra comportamento in-sample e out-of-sample Un confronto utile è verificare se il candidato si comporta in modo “simile” sull’holdout rispetto al training, o se le prestazioni crollano. Un grande divario può indicare overfitting, sensibilità al regime o ipotesi irrealistiche nel backtest.

Input da definire

Per rendere il test interpretabile, è necessario specificare input che influenzano i risultati:

• Definizione dei dati: quali prezzi, timeframe e fuso orario.
• Modello di esecuzione: come vengono eseguiti gli ordini (ad esempio, all’apertura/chiusura della barra, con o senza slippage).
• Costi: spread, commissioni e qualsiasi ipotesi su finanziamento o rollover se inclusi nel modello dati.
• Ipotesi di gestione ordini: cosa accade quando i segnali si verificano all’interno delle barre, quando segnali multipli si sovrappongono o quando la liquidità è insufficiente.
• Processo di selezione parametri: quante scelte sono state provate e come si è deciso quale candidato mantenere.

Esempio o evidenza (senza implicare risultati)

Si consideri un semplice flusso di lavoro ipotetico. Supponiamo di avere un insieme di regole candidate con un parametro come la lunghezza del lookback della media mobile.

1. In-sample: dati 2019–2020

• Si provano diversi valori di lookback.
• Per ogni lookback, si esegue il backtest della regola utilizzando le stesse ipotesi di esecuzione e costi.
• Si mantiene il lookback che produce la migliore metrica in-sample secondo un criterio definito (ad esempio, rendimento netto più alto o migliore metrica aggiustata per il rischio).

2. Congelamento

• Dopo aver selezionato il lookback basandosi sull’in-sample, si blocca il parametro.

3. Out-of-sample: dati 2021

• Si esegue esattamente la stessa regola con il parametro bloccato sul periodo di holdout.
• Si calcolano le stesse metriche.

4. Interpretazione

• Se i risultati out-of-sample sono comparabili in schema e entità a quelli in-sample, ciò suggerisce che la regola potrebbe essere meno dipendente da un periodo specifico.
• Se i risultati out-of-sample peggiorano bruscamente, ciò indica che le prestazioni in-sample potrebbero essere state legate a caratteristiche non persistenti.

Questo esempio illustra la sequenza e il ruolo degli input; non implica che una particolare scelta di parametri “funzionerà”. La validità dipende dal fatto che il periodo out-of-sample sia rimasto intatto durante la selezione.

Limiti materiali e modalità di fallimento

Il test out-of-sample aiuta nella validazione, ma può comunque fallire. Almeno una limitazione importante deve essere prevista:

1) L’overfitting può comunque verificarsi

Anche con un holdout, l’overfitting può verificarsi se si controllano ripetutamente i risultati out-of-sample durante il perfezionamento della strategia. Ogni iterazione diventa un’opportunità per adattare il candidato all’holdout.

2) Data leakage e informazioni future nascoste

Il data leakage si verifica quando informazioni dal periodo out-of-sample influenzano indirettamente i calcoli in-sample. Nel backtesting forex, ciò può derivare da un allineamento errato degli indicatori, da bias di look-ahead nel calcolo dei segnali o dall’uso di trasformazioni dati che utilizzano accidentalmente barre future.

3) Cambiamenti di regime di mercato

Le prestazioni nel forex dipendono dal regime: volatilità, tendenze, spread e caratteristiche del flusso d’ordine possono cambiare. Una strategia adatta a un regime potrebbe non adattarsi a un altro, anche se la procedura di backtest è corretta.

4) Differenze di realismo nel backtest

I backtest sono sensibili alle scelte di modellizzazione:

• Le ipotesi su spread e slippage possono differire dalla realtà.
• Le ipotesi sul timing di esecuzione possono alterare gli esiti delle operazioni.
• Gli eventi societari non si applicano al forex nello stesso modo, ma rollover, finanziamento e vincoli di disponibilità possono comunque influenzare i risultati netti a seconda di come il dataset li modella.

A causa di questi fattori, una validazione in-sample/out-of-sample stabile non garantisce prestazioni future stabili.

Verifica e cosa controllare successivamente

Per verificare in modo indipendente un’affermazione basata sul test out-of-sample, concentrarsi sulla metodologia piuttosto che sui numeri di prestazione in evidenza:

1. Confermare l’indipendenza dell’holdout

• I dati out-of-sample sono stati utilizzati una sola volta per la valutazione finale, dopo il congelamento dei parametri?

2. Verificare se il test è temporalmente coerente

• La suddivisione ha evitato il leakage futuro?
• I calcoli degli indicatori sono allineati in modo da utilizzare solo informazioni disponibili al momento della decisione?

3. Confrontare cose equivalenti

• Sono state utilizzate le stesse ipotesi di esecuzione e costi sia per l’in-sample che per l’out-of-sample?

4. Cercare sensibilità, non solo un singolo punteggio

• Se diverse variazioni di parametri producono un comportamento out-of-sample simile, il risultato potrebbe essere meno fragile.

5. Definire la metrica e il suo significato

• Le metriche dipendono dalle ipotesi su come si misurano guadagni, costi e rischio. È importante essere precisi su ciò che viene confrontato.

Se si desidera approfondire, una domanda pratica successiva è: come è stato costruito il periodo out-of-sample (singolo holdout rispetto a più fold) e se il processo di valutazione ha permesso una selezione ripetuta basata sull’holdout. Questi dettagli spesso determinano se il test è una vera validazione o un affinamento in-sample mascherato.