Cos’è l’Overfitting? (Nel Backtesting Forex e nella Creazione di Modelli)

Definizione di overfitting

L’overfitting si verifica quando un modello (come una regola di trading, un modello di segnale o un predittore statistico) si adatta troppo strettamente alle anomalie dei dati storici. In termini semplici, impara pattern specifici del passato che potrebbero non ripresentarsi in futuro. Un concetto chiave è la differenza tra imparare una relazione reale e memorizzare caratteristiche accidentali (spesso chiamate “rumore”).

Come funziona l’overfitting nel forex

Nei flussi di lavoro del forex, si stima spesso una regola utilizzando dati storici dei prezzi, quindi la si valuta su dati aggiuntivi. L’overfitting si manifesta tipicamente quando la regola diventa eccessivamente complessa rispetto alla quantità e qualità di informazioni disponibili nel dataset.

Un modello semplice comune è: scegliere parametri per massimizzare le prestazioni durante il backtesting (ad esempio, selezionare impostazioni che producono il rendimento più alto su una specifica cronologia). Se si utilizza troppa flessibilità — troppi parametri regolabili, troppe variazioni testate o regolazioni ripetute sullo stesso dataset — il modello può effettivamente “spiegare” movimenti casuali invece che comportamenti stabili.

Anche se il backtest utilizza segmenti diversi, l’overfitting può comunque verificarsi a causa di scelte che implicitamente usano informazioni storiche più del necessario. Esempi includono modifiche ripetute del design basate sui risultati osservati nei backtest, o il confronto di molti modelli candidati selezionando quello che appare migliore nel periodo storico. Ogni passaggio di selezione può distorcere i risultati verso il passato.

Concetti correlati spesso confusi

L’overfitting è distinto da questi problemi correlati:

• Underfitting: il modello è troppo semplice per catturare qualsiasi struttura significativa, quindi presta male anche sui dati di addestramento.
• Data leakage: le informazioni utilizzate durante la creazione del modello includono accidentalmente dati futuri (ad esempio, utilizzando una statistica calcolata con dati non disponibili al momento della decisione). L’overfitting riguarda un eccessivo adattamento; il leakage riguarda un uso errato del tempo delle informazioni.
• Regime change: l’ambiente di mercato cambia, indebolendo le relazioni storiche. Il regime change può causare debolezza fuori dal campione anche senza overfitting, quindi non si deve assumere che uno causi l’altro.

Evidenza e un esempio concreto (con assunzioni chiare)

Supponiamo di avere una serie storica e una regola con una soglia regolabile. Se si provano molte soglie e si seleziona quella con il punteggio di backtest più alto, si sta effettuando una forma di “ricerca”. Con una ricerca sufficiente, la soglia apparentemente migliore può riflettere casualità specifica della finestra storica.

Per verificare ciò, è necessaria una valutazione non utilizzata durante la selezione. Se la regola rimane efficace su dati veramente non visti, ciò è più coerente con un pattern stabile. Se le prestazioni crollano, suggerisce che il successo storico potrebbe essere stato guidato da un adattamento al rumore.

Limitazioni e modalità di fallimento

L’overfitting non è l’unica ragione per cui un backtest può fallire. Le limitazioni materiali includono:

• Costi di transazione ed effetti di esecuzione: i costi reali, lo slippage e gli ordini parzialmente eseguiti possono differire dalle assunzioni del backtest. Queste differenze possono far apparire un modello precedentemente buono come scarso, anche se l’overfitting è minimo.
• Non stazionarietà: la dinamica del forex può cambiare nel tempo. Una regola “buona” può smettere di funzionare perché la relazione sottostante cambia.
• Bias di selezione da test ripetuti: ogni ciclo di regolazione aumenta la probabilità di aver selezionato un artefatto storico.
• Metriche sovrastimate: alcune misure di prestazione possono essere sensibili a un piccolo numero di operazioni anomale, dando un’impressione fuorviante di robustezza.

Poiché i risultati variano con le condizioni di mercato, le assunzioni, i costi e la qualità dell’esecuzione, non si può concludere che un modello generalizzerà solo perché ha ottenuto buoni risultati in passato.

Come verificare la presenza di overfitting

È possibile valutare autonomamente l’overfitting utilizzando pratiche standard di verifica del modello:

1. Utilizzare un test rigoroso fuori dal campione che non viene consultato durante la selezione dei parametri.
2. Controllare la complessità del modello riducendo il numero di gradi di libertà quando possibile.
3. Minimizzare le regolazioni ripetute sui dati di valutazione; trattare la selezione e la valutazione come passaggi separati.
4. Adottare assunzioni realistiche coerenti con ciò che sarebbe stato noto ed eseguibile al momento.

Se il vantaggio apparente di un modello si riduce notevolmente quando testato su dati veramente non visti, ciò è coerente con l’overfitting. Se le prestazioni sono simili in periodi non visti, l’overfitting è meno probabile — ma mai completamente escluso, poiché il comportamento futuro e la qualità dei dati rimangono incerti.