Overfitting nel Backtesting e nel Forward Testing Forex

Cos’è l’overfitting?

L’overfitting è una situazione in cui un modello si adatta così strettamente ai dettagli dei dati storici da smettere di rappresentare il comportamento sottostante e riutilizzabile. Invece di apprendere una relazione generale che possa persistere in nuove condizioni di mercato, il modello impara schemi specifici del campione.

Nel backtesting Forex, l’overfitting si manifesta spesso come un’elevata performance nel periodo storico utilizzato per costruire o regolare il modello. Tuttavia, quando lo stesso modello viene valutato su dati successivi (fuori dal campione), come durante il forward testing, i risultati possono deteriorarsi. Questo disallineamento è il principale segnale di allarme: ottimi risultati di backtest da soli non garantiscono che il modello possa generalizzare.

Come funziona l’overfitting nel backtesting e nel forward testing

Un flusso di lavoro tipico per una strategia algoritmica include:

• Scelta degli input (ad esempio, indicatori o caratteristiche derivate dai dati sui prezzi)
• Selezione di regole o parametri (ad esempio, soglie, lunghezze di lookback o filtri)
• Valutazione della performance sui dati storici (backtesting)
• Verifica della performance su nuovi dati (forward testing)

L’overfitting emerge quando il processo di ottimizzazione regola il modello sui dati storici piuttosto che sui dati futuri. Ciò può accadere attraverso diversi meccanismi:

1) Complessità e flessibilità del modello

I modelli più flessibili possono catturare più struttura, inclusi i rumori. Nel Forex, il rumore è la variazione irregolare dei prezzi che non si ripete in modo affidabile. Una configurazione altamente flessibile può produrre un adattamento migliore alle fluttuazioni passate, anche se tali fluttuazioni non hanno una causa stabile.

2) Troppi gradi di libertà

I “gradi di libertà” indicano il numero di scelte regolabili nel processo di modellazione. Se si regolano ripetutamente le impostazioni per migliorare un risultato misurato sullo stesso periodo storico, si cerca effettivamente combinazioni che funzionano per caso.

3) Riutilizzo ripetuto degli stessi dati di valutazione

Se si utilizza lo stesso periodo di backtesting ripetutamente per affinare i parametri, si rischia di contaminare la valutazione. I dati storici diventano parte del ciclo decisionale, quindi la performance riportata può riflettere l’apprendimento su quel periodo specifico.

4) Pressione selettiva verso risultati più favorevoli

Se il flusso di lavoro include un passaggio di ricerca o ottimizzazione (anche manuale), aumenta la probabilità che alcuni set di parametri appaiano promettenti nel record storico. L’overfitting è la situazione in cui questi risultati “promettenti” non persistono.

Limiti e rischi: cosa può andare storto

Le metriche di backtest possono essere fuorvianti

Il backtesting misura il comportamento del modello sul campione storico. Se il modello ha appreso rumori specifici del campione, il backtest può mostrare redditività, metriche di rischio-ritorno forti o una crescita regolare dell’equity. Ma queste sono osservazioni dipendenti dal campione.

Il forward testing aggiunge incertezza in tempo reale: i regimi di mercato cambiano, le condizioni di liquidità e volatilità si spostano, e il modello può reagire diversamente rispetto al passato.

La generalizzazione non è garantita

Anche se un modello funziona bene fuori dal campione, può comunque fallire in seguito. L’overfitting può ridurre la generalità, ma il mercato può anche evolvere in modi che influenzano qualsiasi strategia. Poiché le condizioni future sono sconosciute, il rischio di overfitting deve essere considerato una questione probabilistica, non una certezza.

L’ottimizzazione può “nascondere” l’overfitting

Un modello può apparire accettabile su un segmento di riserva mentre fallisce su altri segmenti futuri. Questo accade quando il segmento di riserva non è rappresentativo o quando la casualità produce una finestra favorevole.

Confronto tra approcci di valutazione: backtesting vs forward testing

Entrambi gli approcci sono utili, ma rispondono a domande diverse.

Backtesting (in-sample e near-sample)

• Punto di forza: Può rivelare come si comporta una strategia su dati storici noti.
• Limitazione: Può premiare modelli che corrispondono al rumore.
• Rischio principale: La performance può riflettere decisioni di ottimizzazione piuttosto che una struttura ripetibile.

Forward testing (out-of-sample su un periodo successivo)

• Punto di forza: Misura il comportamento su dati che il modello non ha utilizzato durante l’ottimizzazione.
• Limitazione: I risultati sono comunque dipendenti dal campione; una singola finestra di forward testing potrebbe non rappresentare la variabilità futura.
• Rischio principale: Se il periodo di valutazione è troppo breve o non diversificato, si può perdere il vero problema di stabilità.

La prevenzione dell’overfitting si basa sulla separazione

Un modo pratico per pensarci è: maggiore è l’overlap tra i dati di valutazione e le decisioni di ottimizzazione, maggiore è il rischio che i miglioramenti siano dovuti a un adattamento specifico del campione.

Come valutare se un modello è soggetto a overfitting

Piuttosto che affidarsi a un singolo numero, utilizza verifiche di coerenza. Poiché l’overfitting riguarda una scarsa generalizzazione, cerca stabilità tra condizioni e nel tempo.

Le verifiche indipendenti comuni includono:

• Divisioni temporali multiple: Valuta su più di un periodo fuori dal campione.
• Sensibilità alle impostazioni: Se piccoli cambiamenti nei parametri alterano drasticamente i risultati, ciò può indicare fragilità.
• Minore dipendenza da un singolo regime di mercato: Una strategia che funziona solo in un certo tipo di ambiente di volatilità potrebbe essere overfittizzata.
• Evitare l’ottimizzazione ripetuta sullo stesso periodo: Mantieni una chiara separazione tra ottimizzazione e valutazione finale.

L’incertezza rimane: anche una valutazione solida può essere seguita da performance future più deboli. L’obiettivo non è eliminare l’incertezza, ma ridurre la probabilità che i risultati storici derivino dall’adattamento al rumore.

Perché l’overfitting è importante nel Forex

Il Forex è caratterizzato da volatilità variabile, spread diversi e dinamiche di mercato in continua evoluzione. Questi cambiamenti aumentano la difficoltà di trovare relazioni veramente stabili.

Se è presente overfitting, una strategia può apparire efficace durante lo sviluppo e poi deteriorarsi quando il mercato entra in un nuovo regime. Quel divario tra successo storico osservato e performance successiva è esattamente ciò che descrive l’overfitting.

Se desideri un contesto più approfondito, puoi leggere la panoramica correlata sul backtesting e forward testing Forex e anche il materiale separato che si concentra sulle limitazioni dell’overfitting.