Quali sono gli errori comuni con le metriche di performance?

Malintesi comuni che compromettono le metriche di performance

Le metriche di performance sono numeri utilizzati per descrivere come si è svolta un’attività, spesso con l’obiettivo di confrontare risultati nel tempo, tra account o metodi. Un errore comune è considerare queste metriche come verità oggettive, anziché come risultati dipendenti da definizioni, scelte di dati e assunzioni.

Un altro errore frequente è mescolare meccaniche stabili con condizioni variabili. Le meccaniche sono la formula e i suoi input. Le condizioni variabili includono i movimenti di mercato, la qualità dell’esecuzione, i costi di transazione e persino cambiamenti nelle impostazioni di misurazione. Se si confondono questi elementi, si può finire per attribuire differenze alla “performance”, quando in realtà si tratta di differenze di misurazione.

Meccaniche: su cosa si basano solitamente le metriche

Una metrica di performance è corretta solo quanto le informazioni utilizzate per calcolarla. Gli errori comuni includono:

• Cambiare la definizione della metrica durante il calcolo (ad esempio, passando da rendimenti lordi a netti) senza registrare cosa è cambiato.
• Utilizzare finestre temporali non coerenti (giornaliere rispetto a settimanali), o mescolare risultati realizzati con valori parziali o stimati.
• Calcolare con la formula corretta ma con input errati (ad esempio, dimenticando di includere le commissioni o utilizzando un proxy per il prezzo diverso dal prezzo effettivo di esecuzione).
• Confrontare metriche tra dataset non allineati (date di inizio/fine diverse, frequenza di campionamento diversa o copertura diversa delle operazioni).

Quando si include un esempio, è fondamentale dichiarare esplicitamente le assunzioni: quali input sono stati utilizzati, come sono stati gestiti i costi e se i risultati sono realizzati o stimati. Senza queste assunzioni, l’esempio non può essere verificato in modo indipendente.

Evidenze ed esempi di modalità di errore

Anche quando una metrica è calcolata “correttamente”, può comunque fuorviare a causa di modalità di errore:

1. Bias di sopravvivenza e di selezione
   Se vengono inclusi solo i periodi, gli account o le simulazioni “di successo”, la metrica può apparire più forte della realtà storica complessiva. In tal caso, la metrica riflette una selezione, non la performance.

2. Campioni ridotti e medie instabili
   Una metrica basata su pochi eventi (pochi trade, pochi giorni, pochi mesi) può oscillare notevolmente. Medie o rapporti possono sembrare significativi ma essere in gran parte determinati dal caso.

3. Performance rispetto alla forma della distribuzione
   Due serie possono avere lo stesso risultato medio, ma una può mostrare molti piccoli guadagni e rare perdite elevate. Se si traccia solo una metrica riassuntiva, si possono trascurare differenze sostanziali nell’esposizione al rischio.

4. Invisibilità di costi ed esecuzione
   Ignorare o stimare i costi può creare un’immagine troppo ottimistica. Le condizioni di esecuzione — come tempistica e qualità del fill — influenzano gli esiti realizzati; pertanto, una metrica basata su assunzioni anziché su dati di esecuzione registrati può essere internamente incoerente.

Limitazioni e rischi da considerare come conoscenza di base

Le metriche di performance sono descrittive, non garanzie predittive. Le relazioni storiche non garantiscono risultati futuri, e gli esiti variano in base alle condizioni di mercato, ai costi e ai dettagli di esecuzione. Una limitazione rilevante è che le metriche spesso comprimono comportamenti complessi in uno o pochi numeri, nascondendo i fattori determinanti e rendendo le conclusioni apparentemente più certe di quanto non siano.

Verifiche neutre basate sulle limitazioni:

• Verificare che la definizione della metrica (input, unità, regole di inclusione) sia coerente tra i periodi confrontati.
• Controllare se la metrica utilizza valori realizzati e costi registrati, o se si basa su stime.
• Confermare la dimensione e la copertura del dataset (evitare di mescolare simulazioni parziali con complete).
• Separare le meccaniche (correttezza della formula) dalle condizioni (ciò che è cambiato nell’ambiente).

Verifica e domande successive

Se si desidera verificare in modo indipendente le metriche di performance, si può iniziare annotando: la definizione della metrica, gli input esatti e le assunzioni dichiarate per qualsiasi esempio o calcolo. Quindi, ricalcolare utilizzando le stesse assunzioni e confermare di ottenere lo stesso risultato.

Una domanda utile successiva è se la propria metrica risponda a “cosa è successo?” con regole di misurazione chiare, o se implicitamente venga usata per sostenere “cosa accadrà?”. Nel secondo caso, l’incertezza dovrebbe essere considerata parte integrante delle limitazioni della metrica, non un semplice dettaglio secondario.