Come Verificare le Informazioni sulla Definizione di Backtesting?

Definire il backtesting prima di valutare le affermazioni

Il backtesting è la pratica di applicare un processo decisionale predeterminato a dati storici per verificare come si sarebbe comportato. Ai fini della verifica, il primo passo fondamentale è definire cosa si intende per “predeterminato” nella descrizione specifica che si sta valutando: le regole devono essere fissate prima di osservare i risultati, e gli input devono essere dati storici effettivamente disponibili al momento simulato.

Per verificare una definizione di backtesting, distingui le meccaniche stabili dalle condizioni variabili. Le meccaniche stabili rappresentano l’idea centrale (applicare regole a dati passati e calcolarne i risultati). Le condizioni variabili includono i dati scelti, le assunzioni sull’esecuzione, il modello dei costi, la metrica di performance e qualsiasi decisione selettiva presa durante lo sviluppo.

Costruire una gerarchia di fonti per verificare le definizioni

Quando si verificano informazioni sul concetto, utilizza una semplice gerarchia di fonti che dia priorità a spiegazioni atemporali rispetto a dettagli di mercato o di provider soggetti a cambiamento:

1. Fonti di riferimento generale: definizioni in materiali didattici, libri di testo e panorami metodologici. Queste aiutano a confermare il concetto di base (testare regole su dati storici).
2. Fonti di documentazione metodologica: documenti che spiegano i flussi di lavoro del backtesting, come strutturare gli input (serie temporali, timestamp degli eventi), come simulare gli ordini e come calcolare le metriche.
3. Riferimenti primari o autorevoli per affermazioni specifiche: se l’informazione contiene un’affermazione specifica, attuale o relativa a un’entità (ad esempio, sul motore di backtesting di una piattaforma), verificala con la documentazione più diretta disponibile.

Nella verifica evergreen, spesso sono sufficienti i primi due livelli. Se l’autore non riesce a chiarire le meccaniche, considera i dettagli aggiuntivi come non verificati.

Passaggi di verifica riproducibili che puoi ripetere autonomamente

Puoi verificare una definizione di backtesting controllando se la descrizione contiene abbastanza dettagli per riprodurre la logica. Usa questa checklist:

1. Dichiarare le assunzioni: elencare i dati utilizzati (incluso il periodo temporale e come si allineano i timestamp), quali input riceve la strategia/regole e quando vengono prese le decisioni.
2. Specificare le regole e i parametri: verificare che l’insieme di regole sia esplicito e che tutti i parametri siano dichiarati.
3. Definire il metodo di simulazione: confermare come il modello trasforma i segnali in risultati. Ad esempio, presuppone che gli scambi avvengano al prezzo disponibile successivo a un orario di decisione, o nello stesso momento (il che potrebbe implicare informazioni non ancora note)?
4. Considerare costi e attriti pratici: la definizione può essere generica, ma un’affermazione sulla performance dovrebbe includere come vengono rappresentati costi di transazione, spread, slippage o effetti simili.
5. Fissare le metriche di valutazione: verificare che la definizione specifichi cosa viene misurato (ad esempio, rendimento nel tempo, drawdown o errore rispetto a un benchmark) e come viene calcolato.
6. Eseguire una ripetizione indipendente: se la descrizione fornisce una struttura sufficiente, dovresti essere in grado di implementare le stesse meccaniche sullo stesso periodo storico e riprodurre i risultati nella stessa direzione.

Se l’autore non riesce a rispondere a questi punti, il contenuto potrebbe comunque usare la parola “backtesting”, ma potrebbe non descrivere una procedura coerente o verificabile.

Controlli di esempio o di evidenza che rafforzano la definizione

Un modo utile per testare la definizione è cercare una struttura di “esempio minimo”. Un esempio minimo descrive:

• una finestra storica ridotta,
• un insieme di regole fisso,
• un mapping chiaro dal momento della decisione all’esecuzione simulata,
• e un calcolo della metrica.

Anche senza dati in tempo reale, puoi verificare se la definizione è internamente coerente controllando eventuali contraddizioni temporali. Ad esempio, se la descrizione utilizza prezzi futuri per decidere un trade nello stesso timestamp, si tratta di un errore di cronologia. Un altro controllo comune è verificare se l’approccio modifica le regole dopo aver visto i risultati, il che indebolisce il significato di “predeterminato”.

Limitazioni e modalità di fallimento da verificare

Il backtesting è utile per comprendere un processo, non per garantire risultati futuri. Diversi limiti significativi possono invalidare o distorcere una conclusione basata sul backtesting:

• Look-ahead bias: se il metodo utilizza informazioni che non sarebbero state disponibili al momento delle decisioni.
• Overfitting: se parametri e variazioni di regole sono ottimizzati su modelli storici che non si generalizzano.
• Data-snooping: se vengono provate molte variazioni e viene riportata solo la versione con i risultati migliori.
• Differenze di realismo nell’esecuzione: se la simulazione ignora costi, ritardi, liquidità o slippage che sarebbero rilevanti in condizioni reali.