Quali sono i limiti del test degli algoritmi?

Definire il test degli algoritmi

Il test degli algoritmi è il processo di valutazione di un sistema di trading o di decisione basato su regole, utilizzando dati precedenti (come i record storici dei prezzi) e/o scenari controllati. L’obiettivo è misurare come si è comportato il sistema in determinate condizioni. Il “test” produce tipicamente metriche (ad esempio, rendimenti, drawdown o conteggi di vincite/perdite), ma tali metriche dipendono sempre da ciò che si è ipotizzato: qualità dei dati, regole di trading, ipotesi sull’esecuzione degli ordini e gestione dell’incertezza.

Un limite fondamentale è che il test degli algoritmi non ricrea perfettamente la realtà. Si tratta di un metodo analitico basato su ipotesi, non di una garanzia reale sulle prestazioni future.

Come funziona nella pratica (e perché questo è importante)

La maggior parte dei test algoritmici inizia con un obiettivo e un insieme di input. Si definiscono quindi:

• Dati: quali dati di mercato si utilizzano, l’arco temporale e come vengono puliti.
• Logica della strategia: le regole esatte che determinano quando agire.
• Modello di simulazione: come vengono eseguiti gli ordini, comprese le ipotesi su spread, slittamento (slippage) e latenza.
• Costi e vincoli: commissioni, spese e eventuali limiti (ad esempio, se gli ordini possono essere piazzati nel momento in cui appare un segnale).
• Metodo di valutazione: come si misurano i risultati e se si riutilizza lo stesso dataset per l’ottimizzazione.

Anche se ogni passaggio viene eseguito con attenzione, si sta comunque testando un mapping da input a decisioni all’interno di una specifica simulazione. Se una parte di questo mapping diverge da ciò che accade nelle reali condizioni di trading, il test può risultare fuorviante.

Limiti e modi di fallimento da aspettarsi

1) Le relazioni storiche potrebbero non persistere

Un modo comune di fallimento è l’assunzione che i pattern osservati nei dati storici rimangano stabili. I mercati possono cambiare a causa di nuove condizioni di liquidità, regimi di volatilità in evoluzione, comportamenti diversi dei partecipanti e microstrutture in mutamento. Quando questi fattori cambiano, la relazione testata può indebolirsi o scomparire.

2) Le ipotesi su esecuzione e costi possono dominare i risultati

Spesso i test si basano su ipotesi semplificate di esecuzione. Nel trading reale, l’esecuzione degli ordini dipende dalla dinamica del libro degli ordini, dalla liquidità disponibile e dai tempi. Piccole differenze nelle ipotesi su spread o slippage possono alterare significativamente i risultati, specialmente per strategie che operano frequentemente o detengono posizioni brevi.

3) Overfitting ed effetti di look-ahead

Quando un algoritmo viene troppo ottimizzato sui dati storici, può adattarsi al rumore piuttosto che al segnale. Un altro rischio è l’inclusione accidentale di informazioni che non sarebbero state disponibili al momento della decisione (talvolta chiamato effetto look-ahead). Entrambi i problemi possono produrre risultati di test eccellenti che non si generalizzano.

4) Dipendenza dal regime e bias di sopravvivenza

Se il dataset contiene solo periodi in cui il mercato o gli strumenti si sono comportati in un certo modo, il test potrebbe sovrappesare tali condizioni. Problemi correlati includono il bias di sopravvivenza (quando l’universo di valutazione differisce da quello esistente all’epoca) e la dipendenza dal regime (le prestazioni variano in base agli ambienti di mercato).

Cosa si può verificare (e cosa invece no)

È possibile verificare in modo indipendente se il test è internamente coerente: le regole devono essere esplicite, la gestione dei dati deve essere riproducibile e il design della valutazione deve ridurre il riutilizzo dello stesso dataset sia per lo sviluppo che per la valutazione. È anche possibile effettuare test di robustezza sulla sensibilità a variazioni ragionevoli delle ipotesi (ad esempio, diversi livelli di costi o ritardi nell’esecuzione).

Tuttavia, il test degli algoritmi non può eliminare completamente l’incertezza. Anche i sistemi meglio convalidati operano in condizioni mutevoli, e il comportamento futuro del mercato non è garantito rispetto ai pattern storici. Per questo motivo, i “buoni risultati nei test” devono essere interpretati come evidenza sulle specifiche ipotesi utilizzate, non come prova di prestazioni future affidabili.

Prossima domanda da porsi

Se stai valutando un’affermazione su un test, chiediti quali ipotesi sono state usate per l’esecuzione e i costi, come la valutazione ha evitato l’overfitting e se i risultati sono stati verificati in diversi regimi di mercato.