Quali sono le considerazioni avanzate per l’analisi degli errori?

Risposta diretta

L’analisi degli errori è la pratica di studiare sistematicamente una decisione o un risultato per capire cosa è andato storto, perché è accaduto e cosa può essere migliorato nel processo decisionale sottostante. Le considerazioni avanzate vanno oltre la semplice domanda “quale errore si è verificato” e si concentrano sulle dipendenze (ciò che ha influenzato il risultato), sui casi limite (quando la logica standard di revisione fallisce) e sui vincoli di implementazione (come misuri, confronti e verifichi le tue conclusioni).

Poiché non puoi osservare il “controfattuale” (ciò che sarebbe accaduto con scelte diverse), l’analisi degli errori deve trattare le conclusioni come ipotesi verificabili sulle meccaniche decisionali, piuttosto che come spiegazioni certe. L’approccio più pratico è separare gli elementi stabili (il modo in cui pensi, le regole applicate, come hai definito il rischio) dagli elementi variabili (condizioni di mercato, costi di transazione, qualità dell’esecuzione e vincoli legali o della piattaforma).

Meccanismo o definizione

L’analisi degli errori include tipicamente quattro componenti:

1. Registro della decisione: una descrizione chiara della scelta effettuata, comprese le informazioni su cui ti sei basato, i tempi e il processo utilizzato.
2. Previsto vs effettivo: un’affermazione esplicita di ciò che ritenevi sarebbe accaduto (o ciò che consideravi incertezza accettabile) e di ciò che è effettivamente accaduto.
3. Ipotesi causale: una spiegazione strutturata del motivo per cui il risultato differisce dalle tue aspettative.
4. Apprendimento concreto: un cambiamento nel tuo processo volto a prevenire lo stesso tipo di errore.

Per gestire casi avanzati, hai bisogno anche di confini di misurazione e ipotesi. Ad esempio, se confronti “prestazioni” in eventi diversi, devi definire quali input includere: costi di transazione, slittamento (slippage), spread, tempo sul mercato e eventuali vincoli come orari di trading o limitazioni di accesso. Se ometti i costi o usi definizioni inconsistenti degli orari di ingresso/uscita, le tue conclusioni potrebbero essere artefatti del metodo di misurazione, non riflessioni della qualità della decisione.

Meccaniche stabili vs condizioni variabili

Un concetto avanzato chiave è la separazione:

• Meccaniche stabili: aspetti ripetibili del processo decisionale (chiarezza delle regole, coerenza dei passaggi operativi, disciplina in condizioni di incertezza e aggiornamento delle convinzioni all’arrivo di nuove informazioni).
• Condizioni variabili: fattori che possono cambiare da un caso all’altro (regimi di volatilità di mercato, liquidità, qualità dell’esecuzione e ambiente dei costi).

Questa separazione ti aiuta a evitare un errore comune: attribuire un fallimento a un “difetto di strategia” quando il vero motore era un cambiamento nei costi o nel regime di esecuzione.

Evidenza o esempio

Poiché di solito non puoi ripetere “cosa sarebbe accaduto”, l’analisi avanzata degli errori tratta ogni revisione come evidenza a favore o contro ipotesi specifiche.

Esempio: attribuzione errata dovuta all’omissione dei costi

Supponi di aver revisionato due decisioni simili e concluso che un cambiamento nel processo ha migliorato i risultati. Se in un periodo i costi di transazione o la qualità dell’esecuzione erano peggiori rispetto all’altro, il confronto potrebbe attribuire erroneamente il miglioramento al processo, mentre la differenza effettiva derivava dall’ambiente dei costi.

Una revisione avanzata:

• Dovrebbe dichiarare l’ipotesi: “Entrambi gli eventi sono comparabili in condizioni identiche di costi ed esecuzione”, oppure spiegare perché tale ipotesi non è valida.
• Dovrebbe definire la misurazione: quali componenti di costo sono inclusi.
• Dovrebbe verificare la dipendenza: se lo scostamento del risultato rimane coerente dopo aver ricalcolato con lo stesso modello di costo.

Se non puoi misurare i costi in modo coerente, la conclusione corretta diventa più ristretta: il cambiamento di processo non è confermato dalle evidenze disponibili.

Approccio basato sull’evidenza: obiettivi di apprendimento falsificabili

Invece di concludere “il metodo ha fallito”, scrivi un’ipotesi causale che può essere testata:

• “Quando faccio X (un passaggio specifico della decisione), tendo a ignorare Y (un vincolo specifico o un aggiornamento informativo).”
• “La mia applicazione della regola ha fallito nella condizione Z (un livello specifico di incertezza, pressione temporale o dati incompleti).”

Poi definisci cosa costituirebbe una conferma (o una confutazione). Ad esempio, la conferma potrebbe essere la riduzione della stessa modalità di errore in decisioni future in cui ricorre la stessa condizione scatenante.

Limitazioni e rischi

L’analisi degli errori ha limitazioni significative e modi di fallimento. Almeno una limitazione importante è il problema del controfattuale: non puoi osservare direttamente cosa sarebbe accaduto con una scelta diversa, quindi le spiegazioni del “perché” possono essere in parte speculative.

Altri rischi avanzati includono:

1. Bias retrospettivo Quando il risultato è noto, è facile spiegare gli eventi come se l’azione corretta fosse ovvia in retrospettiva. Questo può produrre una “correzione fattuale” (“feitelijke correctie”) nel linguaggio senza un reale miglioramento nel ragionamento causale.

2. Overfitting su un singolo evento Una perdita rara può essere interpretata come prova che un processo generale è sbagliato, anche se l’ambiente e le dipendenze erano insoliti. Questo è un caso limite in cui il campione è troppo piccolo o non rappresentativo.

3. Confusione di categoria Confondere la “qualità della decisione” con la “casualità del mercato” porta a un apprendimento fuorviante. Una perdita può verificarsi anche quando il processo decisionale era ragionevole sotto incertezza. Al contrario, una vincita può verificarsi nonostante difetti nel processo.

4. Definizioni instabili Se cambi nel tempo il modo in cui registri le decisioni (diverse fonti temporali, regole di inclusione dei costi o criteri per classificare un “errore”), i confronti diventano inaffidabili.

5. Vincoli di giurisdizione e piattaforma Le regole e i vincoli operativi possono variare per giurisdizione e fornitore. Se la tua analisi presuppone una certa capacità di esecuzione, accesso ai dati o applicazione di controlli di rischio non sempre disponibili, le tue conclusioni sugli “errori” potrebbero entrare in conflitto con i vincoli reali.

Cosa considerare incerto

I risultati variano con le condizioni di mercato, i costi, la qualità dell’esecuzione e i vincoli, e le relazioni storiche non garantiscono risultati futuri. Pertanto, l’analisi degli errori non dovrebbe essere usata per affermare accuratezza predittiva o sicurezza; dovrebbe essere presentata come un modo per migliorare le meccaniche decisionali e ridurre specifiche modalità di errore attraverso la verifica.

Verifica e prossima domanda

Per verificare in modo indipendente le affermazioni dell’analisi degli errori, concentrati sulla riproducibilità del ragionamento:

1. Documenta gli input della decisione Scrivi cosa era noto al momento, la regola che intendevi seguire e qualsiasi ipotesi. La verifica diventa difficile se gli input vengono ricostruiti a posteriori.

2. Usa criteri coerenti Definisci cosa conta come lo stesso “tipo” di errore e quali confini separano un caso dall’altro.

3. Testa spiegazioni alternative Se la tua ipotesi causale è “la regola era sbagliata”, considera altre ipotesi come il cambiamento del regime di costi, differenze nell’esecuzione o variazioni nella qualità delle informazioni. Le conclusioni solide spiegano perché le alternative sono meno probabili.

4. Misura con lo stesso modello Quando i costi o i tempi sono rilevanti, lo stesso metodo di misurazione deve essere usato in tutti i casi.

5. Tieni traccia degli aggiornamenti del processo Se cambi il modo in cui prendi decisioni, descrivi l’aggiustamento specifico in modo che future revisioni possano attribuire i cambiamenti al processo e non a condizioni non correlate.