Risposta diretta
L’informazione sulla pratica di backtesting può essere verificata controllando (1) quale metodo esatto è stato usato, (2) quali input sono stati assunti (dati, costi, regole di esecuzione), (3) se i risultati possono essere riprodotti a partire da tali input e (4) se sono state testate le modalità di fallimento note. Una affermazione è significativa solo se è abbastanza specifica da poter essere rieseguita e abbastanza indipendente da permettere a un’altra persona di arrivare alle stesse conclusioni con le stesse assunzioni.
Definizione e verifica “cosa”
La pratica di backtesting è il processo di valutazione di un modello di trading o di una regola decisionale applicandola a dati storici e simulando cosa sarebbe accaduto sotto un insieme esplicito di regole. La verifica inizia separando:
- Meccaniche stabili: i passaggi algoritmici (logica di entrata/uscita, regole di posizione, calcoli di rischio) e la procedura di calcolo.
- Condizioni variabili: il comportamento del mercato nel tempo e qualsiasi assunzione che possa cambiare l’esito, come spread, commissioni, slippage, liquidità e tempistica di esecuzione.
Un obiettivo utile per la verifica è una specifica completa. Al minimo, l’informazione dovrebbe indicare quale regola decisionale è stata testata, quali periodi di dati sono stati usati, come i segnali sono stati generati nel tempo e come le operazioni sono state simulate.
Evidenze e controlli di esempio che puoi riprodurre
Usa una gerarchia di fonti che corrisponda a come le affermazioni diventano testabili:
- Descrizione del metodo primario: la descrizione originale della procedura di backtesting (logica e formule).
- Trasparenza degli input: la fonte dei dati storici e i passaggi di pre-elaborazione (pulizia, risampling, timestamp).
- Modello di esecuzione: le regole per cui gli ordini si sarebbero riempiti (fonte del prezzo, assunzioni di latenza e come vengono applicati i costi).
- Traccia di calcolo: abbastanza dettaglio per riprodurre le metriche a partire dagli output grezzi (lista delle operazioni, calcoli di sizing della posizione e metodo di aggregazione).
Passaggi di verifica riproducibili:
- Passaggio 1: Registra le assunzioni. Scrivi tutte le assunzioni che influenzano i risultati: fuso orario e allineamento delle candele, se il modello usa close vs open, costi di transazione e se i riempimenti assumono che il prezzo della stessa barra sia disponibile.
- Passaggio 2: Controlla la tempistica degli eventi (look-forward vs look-back). Assicurati che le decisioni al tempo t usino solo informazioni che sarebbero state note al tempo t. Un errore comune è usare barre future per formare feature o per decidere le entrate.
- Passaggio 3: Valida la logica di esecuzione. Verifica come il modello converte le regole decisionali in operazioni: quando cambiano le posizioni, come vengono dedotti i costi e se i riempimenti parziali o lo slippage vengono ignorati o approssimati.
- Passaggio 4: Ricalcola le metriche da un trade log. Se il backtest riporta solo statistiche di riepilogo, chiedi gli output sottostanti operazione-per-operazione o ricreali dalle formule dichiarate.
- Passaggio 5: Esegui un test di sensibilità. Cambia una sola assunzione alla volta entro intervalli ragionevoli (ad esempio, assunzioni leggermente diverse su costi o riempimenti) e verifica se le performance sono robuste o crollano.
Limiti materiali e modalità di fallimento da cercare esplicitamente:
- Bias di look-ahead (uso di informazioni non disponibili al momento della decisione).
- Overfitting e test ripetuti (tuning dei parametri finché combaciano con le particolarità storiche).
- Riempimenti non realistici (assumere esecuzione perfetta senza effetti di liquidità o slippage).
- Bias di selezione (scegliere periodi favorevoli dopo aver visto i risultati).
Poiché le relazioni storiche non garantiscono risultati futuri, la verifica dovrebbe concentrarsi sul fatto che il metodo sia internamente coerente e che dimostri resilienza a cambiamenti plausibili delle assunzioni.
Limitazioni e rischi
Anche quando il backtesting viene eseguito con attenzione, i risultati restano condizionati alle assunzioni dichiarate. Costi, tempistica di esecuzione e microstruttura del mercato possono differire in modo sostanziale tra periodi, e piccole differenze di modellazione possono produrre grandi cambiamenti nelle metriche. Pertanto, la verifica non dovrebbe trattare un backtest forte come evidenza di performance futura; è evidenza che un metodo può comportarsi in un certo modo in condizioni simulate specifiche.
Checklist di verifica e prossima domanda
Per verificare in modo indipendente una affermazione di backtest, conferma che tutti i seguenti punti siano dichiarati chiaramente e possano essere rieseguiti:
- Ambito dei dati e dettagli di pre-elaborazione.
- Logica decisionale esatta e come si mappa sugli ordini.
- Assunzioni sulla tempistica di esecuzione e come vengono selezionati i prezzi per i riempimenti.
- Assunzioni sui costi e come vengono applicate per ogni operazione.
- Output riproducibili (almeno un trade log o una traccia di calcolo).
Se manca uno qualsiasi di questi elementi, puoi comunque valutare l’affermazione in modo qualitativo, ma non puoi verificarla completamente. La prossima domanda da porre è: Lo stesso backtest può essere riprodotto end-to-end usando solo le informazioni fornite, senza aggiungere assunzioni nascoste?