Quali sono i limiti delle statistiche di performance?

Definizione e cosa misurano effettivamente le statistiche di performance

Le statistiche di performance sono metriche riassuntive che descrivono i risultati di trading in un determinato periodo di tempo, solitamente basate su operazioni registrate, sul patrimonio del conto o sui rendimenti. Esempi includono misure di rendimento medio, drawdown (un calo dal picco al minimo), volatilità (quanto i risultati fluttuano) e misure corrette per il rischio che combinano rendimento e variabilità.

Nella pratica, queste statistiche vengono calcolate a partire da input come timestamp, direzione e dimensione delle operazioni, prezzi quotati o eseguiti, e talvolta convertite in rendimenti (variazioni percentuali nel tempo). Poiché derivano da registrazioni osservate e da formule scelte, il loro significato dipende dalla qualità dei dati e dalle ipotesi incorporate nel calcolo.

Come i meccanismi creano incertezza

Un errore comune è che le statistiche di performance comprimano processi complessi in un piccolo insieme di numeri.

1. Scelte di dati e finestra temporale. Le date di inizio e fine selezionate determinano quali operazioni vengono incluse nel calcolo. Se la finestra include periodi insolitamente tranquilli o particolarmente volatili, le metriche risultanti possono apparire più stabili o più estreme di quanto non sarebbero in altri periodi.

2. Ipotesi su esecuzione e costi. I rendimenti sono influenzati dai costi di trading (spread, commissioni e altre spese) e dalla qualità dell’esecuzione (se le operazioni vengono eseguite vicino al prezzo previsto). Molti riassunti di performance non isolano pienamente l’impatto di questi fattori, quindi due serie di statistiche possono descrivere in modo diverso la stessa strategia.

3. Costruzione della serie di rendimenti. Le metriche spesso dipendono da come vengono registrati i cambiamenti di equity o saldo, da come vengono gestite le chiusure parziali e da come vengono trattati i dati mancanti o corretti. Piccole differenze in questi meccanismi possono alterare il drawdown o la volatilità anche se il trading sottostante è simile.

4. Effetti di selezione. Se i risultati vengono mostrati solo per i periodi in cui un provider ha operato, o se vengono escluse cronologie incomplete, le statistiche riportate possono rappresentare un campione distorto. Questo è un limite di misurazione, non una prova che l’approccio sottostante funzioni o meno.

Evidenze ed esempi in cui le statistiche possono fuorviare

Consideriamo due conti con identico comportamento strategico ma in ambienti di misurazione diversi:

• Conto A registra i rendimenti utilizzando un periodo più lungo che include regimi di spread elevati.
• Conto B registra i rendimenti utilizzando un periodo più breve che esclude tali regimi.

Anche se i meccanismi fondamentali della strategia non cambiano, il Conto B potrebbe riportare un drawdown inferiore e una performance più regolare semplicemente perché le condizioni di mercato campionate erano diverse. Il limite non è nell’aritmetica; è la discrepanza tra le condizioni usate per calcolare le metriche e quelle che potrebbero verificarsi in seguito.

Un altro esempio è l’interpretazione del drawdown. Una statistica di drawdown riassume un calo ma non spiega quanto tempo ci è voluto per riprendersi, se il calo era correlato a eventi specifici o quanto fosse sensibile ai cambiamenti nell’esecuzione. Due provider possono avere lo stesso valore massimo di drawdown pur avendo profili di recupero molto diversi.

Limiti materiali e modalità di fallimento

Le statistiche di performance presentano diversi limiti materiali:

1. Nessuna garanzia di risultati futuri. Le relazioni storiche tra rendimenti e misure di rischio non assicurano un comportamento simile in futuro, specialmente quando cambiano i regimi di volatilità e la liquidità di mercato.

2. Ipotesi nascoste. I calcoli dipendono da cosa viene considerato un’operazione, da come vengono misurati i rendimenti e se i costi sono pienamente riflessi. Se le ipotesi differiscono tra report diversi, i confronti possono essere inaffidabili.

3. Mercati non stazionari. La dinamica di mercato può cambiare nel tempo. Un metodo che ha funzionato in un determinato ambiente potrebbe dare risultati inferiori in un altro, anche senza alcun cambiamento nell’esecuzione.

4. Differenze tra provider e modalità di reporting. Le statistiche possono riflettere come una piattaforma aggrega le attività, gestisce depositi/prelievi o corregge o filtra le operazioni. Queste differenze possono influenzare i numeri di performance.

5. Bias di sopravvivenza e di reporting. Se vengono mostrate solo cronologie di successo o attive, le statistiche possono sovrastimare sistematicamente i risultati tipici.

6. Fattori giurisdizionali e operativi. L’esperienza pratica del trading può variare in base a contesti legali e operativi, che le sole statistiche di performance non riescono a catturare in modo affidabile.

Verifica e prossime domande da porsi

Per verificare cosa significano le statistiche di performance in un caso specifico, controlla se le metriche riportate sono riproducibili a partire dai registri sottostanti delle operazioni o dell’equity, e identifica gli input di calcolo e le finestre temporali utilizzate.

Prossime domande utili per rivelare i limiti:

• Quale periodo di tempo viene utilizzato e quali condizioni di mercato prevalgono in quel periodo?
• I costi e i dettagli di esecuzione sono inclusi in modo coerente?
• Come vengono trattati depositi, prelievi e aggiustamenti nella serie di rendimenti?