Quali sono i limiti del processo di revisione?

Cosa significa “processo di revisione” (meccanica)

Un processo di revisione è un metodo strutturato per analizzare retrospettivamente decisioni e risultati, al fine di capire cosa mantenere, cosa modificare o cosa testare in seguito. Nella pratica, comprende tipicamente: (1) stabilire cosa si intende per decisione, (2) raccogliere le informazioni rilevanti utilizzate al momento, (3) confrontare risultati pianificati e reali, e (4) registrare le lezioni in un formato ripetibile.

Per valutarlo con accuratezza, servono definizioni stabili. Ad esempio, è necessario specificare cosa si intende per “risultato” (risultato netto dopo i costi o movimento lordo), quale finestra temporale si sta esaminando e quali input sono inclusi. Senza queste scelte, la revisione può apparire precisa ma in realtà misurare cose diverse ogni volta.

Evidenze ed esempi: dove falliscono le conclusioni della revisione

Si consideri un semplice flusso di lavoro di revisione che classifica ogni risultato come “buono” se positivo sul grafico e “cattivo” se negativo. Questo approccio può fallire perché il segno di un risultato non corrisponde necessariamente all’esito effettivamente sperimentato.

Anche senza dati in tempo reale, il limite è evidente: la revisione potrebbe ignorare condizioni variabili come spread diversi, slittamento (slippage), commissioni o tempistiche di esecuzione. Se i dati storici utilizzati presuppongono un certo insieme di costi e l’ambiente reale ne ha un altro, i confronti della revisione mischiano mele con arance.

Un altro errore comune è il bias di sopravvivenza (survivorship bias) nella selezione delle decisioni da rivedere. Se si analizzano solo decisioni facili da spiegare a posteriori, il processo sovrastima la frequenza con cui il proprio ragionamento funziona.

Limiti e rischi: modalità di fallimento, incertezza e condizioni mutevoli

I principali limiti non riguardano se la revisione aiuti l’apprendimento; riguardano invece cosa un processo di revisione può concludere con affidabilità.

1. Non si assume l’uso di dati di mercato in tempo reale, quindi la rilevanza futura è incerta. Una revisione si basa su ciò che è accaduto in passato. Il periodo successivo potrebbe differire sostanzialmente in termini di volatilità, liquidità e comportamento delle correlazioni.

2. I risultati variano con costi, esecuzione e giurisdizione. Lo stesso intento operativo può produrre esiti diversi quando costi, qualità di esecuzione degli ordini o regole applicabili variano nel tempo e nello spazio.

3. Le relazioni storiche non garantiscono risultati futuri. Anche quando una revisione individua un pattern nei risultati passati, ciò non dimostra che condizioni simili si ripresenteranno.

4. Input incoerenti compromettono la misurazione. Se si modificano le definizioni (ad esempio, a volte includendo le commissioni e altre no), o se si registrano decisioni con livelli di dettaglio diversi, il cosiddetto “miglioramento” può essere solo un artefatto.

5. Overfitting su un campione limitato. Quando il numero di decisioni analizzate è ridotto, il processo può scambiare una variazione casuale per una lezione stabile.

Come verificare i risultati della revisione (e cosa chiedersi dopo)

Per verificare in modo indipendente ciò che un processo di revisione sta comunicando, concentrarsi sulle parti misurabili in modo coerente. Dichiarare assunzioni esplicite: cosa conta come “decisione”, quali costi sono inclusi e se il confronto utilizza le stesse regole ogni volta.

Porsi quindi queste domande di verifica:

• Le stesse definizioni sono applicate in tutti i casi esaminati?
• La revisione separa l’effetto del movimento di mercato dall’effetto di esecuzione e costi?
• Ripetendo la revisione su un periodo diverso, le conclusioni rimangono coerenti in direzione e entità?
• Sono documentati la dimensione del campione e i criteri di selezione, in modo da poter valutare il rischio di bias?

Se non è possibile effettuare questi controlli, l’interpretazione più prudente è che il processo di revisione fornisca segnali di apprendimento sul flusso di lavoro passato, non previsioni affidabili sui risultati futuri.