Quali sono i Limiti dell’Analisi degli Errori?
Cosa significa analisi degli errori
L’analisi degli errori è un metodo strutturato per esaminare una decisione passata al fine di capire cosa è andato storto e perché, con l’obiettivo di migliorare le decisioni future. Nella pratica, include solitamente: (1) descrivere la situazione, (2) identificare ciò che è stato fatto, (3) indicare il risultato atteso al momento e (4) confrontare tale aspettativa con ciò che è effettivamente accaduto.
Poiché si tratta di un’analisi retrospettiva, questo metodo non può osservare direttamente tutte le variabili nascoste. Si basa sugli input raccolti (ad esempio, il ragionamento annotato, il momento dell’azione e le condizioni vissute dal sistema). Questa dipendenza dagli input crea la prima limitazione principale.
Come funziona nella pratica
Un flusso di lavoro tipico tratta la decisione come un insieme di assunzioni. Si ricostruiscono le condizioni così come le si era comprese, quindi si valuta se l’esito era incoerente con tali assunzioni.
Due aspetti sono cruciali per l’accuratezza:
-
Meccaniche stabili vs. condizioni variabili
Alcuni elementi sono relativamente stabili — ad esempio, se si è seguita una regola, se il ragionamento era coerente internamente o se si è valutata l’informazione prima di agire. Altri elementi variano — come la liquidità di mercato, la volatilità, la qualità dell’esecuzione, gli spread e qualsiasi vincolo procedurale nell’ambiente in cui il trade è stato eseguito. -
Assunzioni alla base di ogni calcolo
Se si confronta il risultato “atteso” con quello “effettivo”, si sta implicitamente assumendo qualcosa riguardo a ciò che si sarebbe ottenuto nelle stesse condizioni. Quando tale assunzione è errata o incompleta, l’analisi può attribuire la colpa alla causa sbagliata.
Anche in assenza di dati in tempo reale, l’analisi può comunque essere utile per comprendere il processo decisionale. Il limite è che potrebbe non spiegare i risultati in modo sufficientemente accurato da prevedere o prevenire fallimenti simili.
Evidenze ed esempio: perché gli esiti possono fuorviare
Considera uno scenario semplificato: una decisione ha avuto un esito negativo. L’analisi degli errori potrebbe concludere che il problema fosse una “scelta sbagliata al momento”. Tuttavia, il risultato negativo può derivare anche da condizioni non contemplate nel ragionamento iniziale, come lo slippage nell’esecuzione o costi di transazione diversi da quelli modellati.
Questo genera un errore comune: l’errore di attribuzione. L’analisi attribuisce una singola causa che si adatta all’esito, anche se potrebbero aver contribuito più fattori. Quando non è possibile separare le cause (perché i dati mancanti non sono recuperabili), la conclusione su “cosa fare la prossima volta” diventa incerta.
Un secondo errore è il bias di selezione. Se si analizzano solo le decisioni che sono andate male, si può sopravvalutare la frequenza con cui lo stesso “errore” causa perdite. Se si analizzano solo quelle che si possono ricostruire facilmente, si potrebbe perdere l’intera gamma di contesti decisionali.
Limiti e rischi
1) Incertezza sulla causa reale
L’analisi degli errori può chiarire cosa è accaduto, ma non dimostra necessariamente perché è accaduto. Fattori nascosti possono includere differenze nell’esecuzione, effetti temporali o limitazioni nell’informazione disponibile al momento. Di conseguenza, il metodo può produrre spiegazioni plausibili ma non verificabili.
2) I risultati storici non garantiscono relazioni future
Anche se si trova un pattern — ad esempio “le decisioni prese in condizioni X hanno avuto prestazioni peggiori” — non è detto che tale relazione persista. Le condizioni di mercato, il comportamento dei partecipanti e i costi possono cambiare. Pertanto, un legame passato tra uno stile decisionale e gli esiti potrebbe non valere in futuro.
3) Condizioni e costi possono alterare il significato della stessa decisione
Due decisioni che appaiono identiche nel ragionamento possono portare a esiti diversi se l’ambiente circostante è differente. I costi di transazione, la qualità dell’esecuzione e le regole operative possono rendere lo stesso “errore” più o meno dannoso. Se l’analisi non tiene conto di queste differenze, potrebbe esagerare le conclusioni.
4) Overfitting a una singola narrazione
L’analisi degli errori può diventare un tentativo di adattare una singola storia a esiti complessi. Questo può portare a lezioni troppo ristrette, non generalizzabili. Quando non è possibile testare spiegazioni alternative, si può scambiare una spiegazione comoda per quella corretta.
Verifica e prossime domande
Per verificare un’analisi degli errori, trattane le conclusioni come ipotesi, non come fatti. Un controllo pratico consiste nel chiedersi se la spiegazione rimane coerente in casi simili, utilizzando le stesse assunzioni riguardo a condizioni e input.
Se vuoi essere più indipendente e accurato, chiarisci queste domande:
- Quale informazione era effettivamente disponibile al momento della decisione?
- Quali parti dell’ambiente sono variate, e queste variazioni sono state registrate?