Come si può fare il backtest del CMO in modo responsabile?

Cosa significa fare il backtest del CMO in modo “responsabile”

Fare il backtest di un CMO (Chande Momentum Oscillator) significa calcolare i suoi valori storici a partire dai dati dei prezzi e valutare come una certa regola decisionale si sarebbe comportata se fosse stata applicata in tempo reale. Il termine “responsabilmente” si riferisce alla riproducibilità del test e alla capacità di evitare errori comuni che rendono i risultati passati più favorevoli di quanto sarebbero potuti essere.

Un approccio responsabile si basa principalmente su quattro aspetti: (1) definire con precisione l’indicatore e i dati, (2) includere costi e tempistiche realistiche, (3) controllare i bias e l’overfitting dei parametri, e (4) validare fuori campione per stimare quanto siano fragili i risultati ottenuti.

Meccanica: definire l’indicatore, i dati e le assunzioni

Prima di effettuare qualsiasi test, è necessario disporre di una definizione chiara e verificabile del CMO e degli input utilizzati. Nella pratica, ciò significa specificare:

• La serie dati esatta (ad esempio, prezzi da chiusura a chiusura) e la frequenza di campionamento utilizzata per calcolare i rendimenti o il momentum.
• La finestra di osservazione (il parametro) utilizzata nel calcolo del CMO.
• La gestione dei dati mancanti, delle interruzioni di sessione e delle azioni societarie (dove applicabile).
• La regola di allineamento temporale: se il segnale testato al tempo t utilizza solo informazioni disponibili fino a t.

Quindi, specificare qualsiasi regola decisionale che si sta valutando. Anche se non si afferma che il CMO “preveda”, è comunque necessario descrivere cosa si farebbe quando il CMO supera un certo livello, aumenta oltre una soglia o quando si verifica una condizione scelta. Per ogni esempio, dichiarare esplicitamente le assunzioni, come l’orario di apertura della posizione (all’apertura della prossima barra rispetto alla chiusura), se si permette l’esecuzione all’interno della barra e come si trattano i fine settimana o i periodi di scarsa liquidità.

Costi e tempistiche di esecuzione: la parte ignorata da molti test

I costi non sono un dettaglio accessorio nel backtest. Anche un indicatore concettualmente solido può apparire efficace se si ignorano attriti realistici. In una tipica simulazione di mercato, bisogna considerare:

• Spread e commissioni (o un modello equivalente di costo di transazione) e se il costo viene applicato solo all’ingresso o sia all’ingresso che all’uscita.
• Slippage: la differenza tra il prezzo di esecuzione modellato e il prezzo desiderato.
• Tempistica: il timestamp del segnale non deve “barare”. Se il segnale è calcolato dalla barra t, un test realistico deve utilizzare un prezzo di esecuzione effettivamente disponibile dopo il completamento della barra t.

La chiarezza delle assunzioni è fondamentale: ad esempio, se si assume l’esecuzione all’apertura della prossima barra, tale regola deve essere applicata in modo coerente e si deve verificare che il calcolo dell’indicatore non utilizzi prezzi futuri.

Controlli sui bias: prevenire il look-ahead e l’overfitting

Molti backtest falliscono perché utilizzano accidentalmente informazioni che non avrebbero dovuto avere.

I principali controlli sui bias includono:

• Bias da anticipazione (look-ahead bias): assicurarsi che il valore dell’indicatore utilizzato per una decisione al tempo t sia calcolato solo con dati disponibili prima di t.
• Bias da selezione: non ottimizzare i parametri dell’indicatore (come la finestra del CMO) cercando ripetutamente il risultato storico migliore sullo stesso dataset.
• Data snooping: se si provano molte varianti (soglie, valori dei parametri, filtri), i risultati possono riflettere il processo di ricerca piuttosto che una proprietà robusta.

Un controllo pratico consiste nel dividere i dati in almeno due insiemi: uno per scegliere i parametri e un altro per valutare la performance. Se si effettua un’ulteriore ottimizzazione ripetuta, si può considerare tale processo come parte della costruzione del modello, mantenendo intatta la valutazione finale.

Evidenza e validazione fuori campione

Per ridurre il rischio di scambiare il rumore per struttura, è essenziale validare fuori campione.

I modelli più comuni includono:

• Suddivisione training/validation/test: scegliere i parametri su un segmento di training, validarli su un segmento diverso e quindi effettuare una singola valutazione sul segmento di test tenuto da parte.
• Valutazione walk-forward (a finestra mobile): ricalibrare o riselezionare ripetutamente i parametri su una finestra mobile, quindi testare sul periodo successivo.

Quando si riportano i risultati, concentrarsi su metriche che evidenziano la fragilità. Utilizzare misure multiple (ad esempio, rendimento medio e proxy di rischio simili al drawdown) e verificare se la performance dipende fortemente da pochi periodi particolari. Se il test funziona principalmente quando le condizioni di mercato assomigliano a quelle del regime di training, è probabile che fallisca quando il regime cambia.

Limiti e punti di fallimento da aspettarsi

Anche con una metodologia accurata, i backtest del CMO possono produrre conclusioni fuorvianti. Esempi di limitazioni significative includono:

• Non stazionarietà: i mercati cambiano; le relazioni che hanno funzionato in passato potrebbero non persistere.
• Cambiamenti di regime: volatilità, tendenze e condizioni di liquidità possono alterare il comportamento degli oscillatori di momentum.