Cosa significa “processo di revisione” (meccaniche)
Un processo di revisione è un modo strutturato per guardare indietro alle decisioni e ai loro risultati per capire cosa mantenere, cambiare o testare successivamente. Nella pratica, di solito include: (1) scegliere cosa conta come decisione, (2) raccogliere le informazioni rilevanti usate al momento, (3) confrontare i risultati previsti con quelli effettivi e (4) registrare le lezioni in un formato ripetibile.
Per valutarlo in modo accurato, servono definizioni stabili. Ad esempio, specifica cosa intendi per “risultato” (risultato netto dopo i costi, oppure movimento lordo), l’intervallo di tempo che analizzi e quali input sono inclusi. Senza queste scelte, la revisione può sembrare precisa mentre in realtà misura cose diverse ogni volta.
Evidenze ed esempio: dove le conclusioni della revisione si rompono
Considera un semplice flusso di lavoro di revisione che etichetta ogni esito come “buono” se era positivo su un grafico e “cattivo” se era negativo. Questo può fallire perché il segno di un esito non è la stessa cosa dell’esito che hai effettivamente sperimentato.
Anche senza usare dati in tempo reale, il limite è chiaro: la revisione può ignorare condizioni variabili come spread diversi, slippage, commissioni o tempistiche di esecuzione. Se i dati storici che hai usato assumevano un insieme di costi e l’ambiente live ne aveva un altro, i confronti della tua revisione mescolano mele e arance.
Un’altra modalità di fallimento è il survivorship bias in ciò che scegli di rivedere. Se rivedi solo decisioni che è facile spiegare a posteriori, il processo sovrastima quanto spesso il tuo ragionamento funziona.
Limiti e rischi: modalità di fallimento, incertezza e condizioni che cambiano
I limiti principali non riguardano se la revisione aiuta l’apprendimento; riguardano ciò che un processo di revisione può concludere in modo affidabile.
-
Non si assumono dati di mercato in tempo reale, quindi la rilevanza futura è incerta. Una revisione si basa su ciò che è accaduto nel passato. Il periodo successivo può differire in modo sostanziale per volatilità, liquidità e comportamento della correlazione.
-
Gli esiti variano con costi, esecuzione e giurisdizione. La stessa intenzione sottostante può produrre risultati effettivi diversi quando cambiano i costi, la qualità dell’esecuzione degli ordini o le regole applicabili tra tempi e luoghi.
-
Le relazioni storiche non stabiliscono risultati futuri. Anche quando una revisione trova un pattern negli esiti passati, questo non prova che condizioni simili si ripeteranno.
-
Input incoerenti compromettono la misurazione. Se cambi le definizioni (ad esempio, a volte contando le commissioni e a volte no) oppure se catturi le decisioni con livelli di dettaglio diversi, allora la “miglioria” può essere un artefatto.
-
Overfitting su un campione limitato. Quando il numero di decisioni revisionate è piccolo, il processo può scambiare una variazione casuale per una lezione stabile.
Come verificare i risultati della revisione (e cosa chiedere dopo)
Per verificare in modo indipendente ciò che un processo di revisione ti sta dicendo, concentrati sulle parti che puoi misurare in modo coerente. Esplicita le assunzioni: cosa conta come “decisione”, quali costi sono inclusi e se il confronto usa le stesse regole ogni volta.
Poi poni queste domande di verifica:
- Vengono applicate le stesse definizioni a tutti i casi revisionati?
- La revisione separa l’effetto del movimento di mercato dall’effetto dell’esecuzione e dei costi?
- Se ripeti la revisione su una finestra temporale diversa, le conclusioni restano consistenti per direzione e ampiezza?
- La dimensione del campione e i criteri di selezione sono documentati così da poter valutare il rischio di bias?
Se questi controlli non possono essere fatti, l’interpretazione più sicura è che il processo di revisione fornisca segnali di apprendimento sul tuo flusso di lavoro passato, non previsioni affidabili sui risultati futuri.
DOCUMENT END