Quali Rischi Sono Associati alla Pratica del Backtesting?

Cos’è il backtesting e perché emergono rischi

Il backtesting è un metodo di analisi che applica un’idea di trading basata su regole a dati storici per stimare come si sarebbe comportata in passato. L’idea è solitamente codificata come condizioni di ingresso e uscita, controlli di rischio e assunzioni su come gli ordini sarebbero stati eseguiti.

Il rischio principale è che un backtest non è il mercato. Si tratta di una ricostruzione semplificata basata su input (dati, regole, costi e assunzioni di esecuzione). Se questi input non corrispondono alle condizioni reali, i risultati possono essere sistematicamente fuorvianti.

Rischi di meccanismo: input, modellazione e assunzioni di esecuzione

Un backtest dipende da dettagli operativi facili da approssimare ma difficili da riprodurre.

• Qualità e realismo dei dati: Le serie storiche dei prezzi possono omettere gli spread, variare nella granularità o differire dalle quotazioni effettivamente negoziabili che avresti ricevuto. Se il tuo backtest utilizza un prezzo “pulito” ma l’esecuzione reale comporta spread più ampi o prezzi diversi al momento dell’invio dell’ordine, le stime di performance possono cambiare.
• Costi di transazione e liquidità: Molti backtest sottostimano i costi. Commissioni, spese e soprattutto effetti di liquidità (ad esempio, il movimento del prezzo tra il momento del segnale e quello di esecuzione) possono ridurre i rendimenti. Anche se i rendimenti sembrano forti prima dei costi, il divario può aumentare dopo aver applicato costi realistici.
• Modellazione dell’esecuzione degli ordini: Il backtesting assume solitamente esecuzioni a prezzi prevedibili. Nella realtà, l’esecuzione può differire a causa di riempimenti parziali, posizione nella coda, slippage e tipo di ordine (market o limit). Se la logica di esecuzione è troppo ottimistica, la curva simulata dell’equity potrebbe non rispecchiare i veri drawdown.
• Errori di campionamento e tempistiche: Utilizzare segnali alla chiusura del bar come se potessero essere eseguiti esattamente a quel prezzo è un errore comune. In realtà, il segnale è noto solo dopo l’aggiornamento del prezzo, quindi l’esecuzione avverrebbe in ritardo (o con prezzi disponibili diversi).

Rischi di mercato e di scenario: la storia non rimane stabile

Anche con dati perfetti e modellazione dell’esecuzione accurata, i mercati possono cambiare.

• Cambiamenti di regime: Il comportamento del forex può differire tra regimi di volatilità, periodi macroeconomici e condizioni di liquidità. Una regola che ha funzionato in un determinato regime storico potrebbe fallire in un altro.
• Relazioni non stazionarie: I modelli statistici possono indebolirsi quando gli spread si allargano, le correlazioni cambiano o la distribuzione della volatilità si modifica. Un backtest può misurare “ciò che è accaduto in passato”, non “ciò che accadrà in futuro”.

Limite fondamentale: le relazioni storiche non garantiscono risultati futuri.

Rischi operativi e controparte: ciò che una simulazione spesso ignora

I backtest si concentrano tipicamente su prezzi e regole, non sui vincoli pratici del trading.

• Vincoli di piattaforma e connettività: Ritardi, ordini rifiutati o interruzioni temporanee possono impedire l’apertura o la chiusura di posizioni come previsto nel modello.
• Margine, leva e controlli di rischio: Se i requisiti di margine, le liquidazioni forzate o i limiti di rischio differiscono dalla simulazione, i risultati potrebbero non essere raggiungibili nella pratica.
• Vincoli legati alla controparte: Il trading reale può essere influenzato da processi operativi e politiche di esecuzione non rappresentati dai soli dati storici sui prezzi.

Questi rischi non sono necessariamente visibili nei report di backtest, ma possono dominare i risultati in periodi di stress.

Rischi di interpretazione: overfitting, hindsight bias e falsa sicurezza

Un errore comune non riguarda la matematica, ma l’interpretazione.

• Overfitting: Se i parametri vengono ottimizzati ripetutamente per adattarsi ai dati storici, il backtest può catturare rumore invece di un segnale duraturo. Regole overfittate possono degradarsi rapidamente su nuovi dati.
• Hindsight bias: Quando si osserva il passato, è facile scegliere assunzioni che rendano i risultati coerenti. Un backtest può così riflettere il processo di selezione, non un vantaggio reale.
• Certezza basata su un solo indicatore: Una strategia può apparire redditizia su un indicatore (ad esempio, rendimento totale) nascondendo un alto rischio di coda (grandi drawdown, lunghe serie di perdite o vulnerabilità a determinate condizioni).

Un controllo efficace è considerare il backtest come un test d’ipotesi, chiedendosi se l’idea rimanga plausibile sotto assunzioni stress-testate e dati fuori campione.

Esempio di evidenza: un semplice errore che può cambiare le conclusioni

Supponiamo che una regola generi segnali alla fine di ogni bar. Se il backtest assume che tu possa entrare al prezzo di chiusura di quel bar, ma nella realtà invii l’ordine solo dopo la chiusura e l’esecuzione avviene al prezzo disponibile successivo, l’ingresso è sistematicamente peggiore.