Quali sono i limiti delle metriche di performance?

Le metriche di performance: cosa misurano

Le metriche di performance sono riepiloghi numerici utilizzati per descrivere come si è comportato un trading (ad esempio, una serie di operazioni su valute) in un periodo definito. Partono tipicamente da input come risultati delle operazioni, dimensioni delle posizioni, timestamp e, talvolta, dettagli su rischio e costi. Esempi comuni includono misure basate sul rendimento (guadagno o perdita nel tempo), misure basate sul rischio (drawdown) e misure di efficienza (quanto rendimento è stato prodotto rispetto a una certa variabilità).

Nella pratica, una metrica di performance non è la stessa cosa della “performance” stessa. È un calcolo che dipende da scelte: quali dati includere, come trattare commissioni e spread, come definire l’inizio e la fine della finestra di misurazione e come gestire record mancanti o aggiustati.

Come le meccaniche creano punti ciechi

Poiché le metriche di performance vengono calcolate a partire dai dati, ereditano eventuali lacune o incoerenze presenti in tali dati. Alcune meccaniche che spesso riducono l’utilità:

1. Assunzioni di calcolo: Molte metriche si basano su assunzioni che potrebbero non corrispondere al trading reale. Ad esempio, i rendimenti possono essere calcolati su basi diverse (variazione dell’equity, conversione della valuta del conto o figure al netto dei costi). Anche se due dashboard utilizzano lo stesso nome per una metrica, possono produrre numeri diversi a causa di formule differenti.

2. Scelte di aggregazione: Le metriche possono essere fortemente influenzate dal modo in cui i periodi vengono raggruppati. Una metrica misurata su un certo intervallo temporale (giornaliero, settimanale o per operazione) può comportarsi diversamente rispetto alla stessa idea misurata su un altro intervallo.

3. Costi nascosti ed effetti di esecuzione: Costi come spread, commissioni, finanziamenti e slippage spesso vengono trattati in modo diverso tra fornitori o backtest. Quando i costi sono esclusi o modellati in modo diverso, una metrica può apparire più forte di quanto sarebbe nell’esecuzione reale.

4. Copertura del campione: Se la metrica si basa su un dataset parziale (operazioni mancanti, timestamp incompleti o solo operazioni vincenti), il riepilogo può risultare fuorviante.

Evidenze ed esempi di modalità di fallimento

Una modalità di fallimento evidente è il confronto non comparabile. Supponiamo che due metriche di performance siano entrambe etichettate come “rendimento medio”, ma una includa i costi di transazione mentre l’altra no. La metrica che include i costi sarà sistematicamente più bassa, quindi il confronto non riflette solo la “capacità di trading”.

Un’altra modalità di fallimento è l’overfitting alla storia. Una relazione che appare stabile in un periodo può rompersi quando cambiano volatilità, liquidità o qualità dell’esecuzione. Le metriche di performance possono quindi apparire significative pur fallendo un semplice test di stress: “Se le condizioni cambiano, la metrica continua a correlare con risultati positivi?”

Infine, può verificarsi un mascheramento del rischio. Alcune metriche si concentrano su medie o rapporti e possono sottovalutare eventi estremi. Ad esempio, una strategia potrebbe mostrare un rendimento complessivo decente pur subendo drawdown rari ma gravi. Se la metrica non coglie la profondità del drawdown e il comportamento di recupero, può nascondere una limitazione fondamentale.

Limiti e rischi dell’affidarsi alle metriche di performance

Le metriche di performance presentano almeno tre limiti significativi:

• Incertezza sui risultati futuri: Le relazioni storiche non garantiscono la performance futura. Anche una metrica che è stata forte in passato può degradarsi quando cambiano le condizioni di mercato.

• Dipendenza da condizioni variabili: I risultati variano in base alle condizioni di mercato, ai costi, alla qualità dell’esecuzione e ad altri fattori contestuali. Una metrica che combina questi fattori può essere difficile da interpretare come pura “capacità”.

• Sensibilità ad assunzioni e definizioni: Se gli input o le regole di calcolo della metrica differiscono tra dataset o strumenti, il numero può essere coerente internamente ma fuorviante esternamente.

Questi limiti indicano che le metriche di performance vanno considerate meglio come riepiloghi diagnostici di ciò che è accaduto in condizioni specifiche, non come garanzie su ciò che accadrà in futuro.

Come verificare cosa implica effettivamente la metrica

Per verificare in modo indipendente i fatti più rilevanti, trattare le metriche di performance come un calcolo riproducibile:

• Verificare la definizione: Confermare cosa include la metrica (rendimenti lordi vs. netti, trattamento dei costi e cosa viene considerato come entrata/uscita).
• Verificare l’intervallo temporale e il campione: Assicurarsi che la finestra di misurazione e che il dataset coprano tutte le operazioni rilevanti.
• Verificare assunzioni su costi ed esecuzione: Assicurarsi che slippage, commissioni, spread e altri effetti di esecuzione siano gestiti in modo coerente.
• Sottoporre a stress l’interpretazione: Chiedersi se la metrica ha ancora senso modificando l’intervallo temporale o escludendo periodi con comportamento di mercato diverso.

Per i lettori che utilizzano metriche di performance per valutare concetti o strumenti di trading sul forex, la domanda successiva più importante non è “Quale metrica è la più alta?”