Test fuori campione rispetto a concetti forex correlati

Risposta diretta

Il test fuori campione (spesso abbreviato come OOS testing) è un passaggio di valutazione progettato per misurare quanto bene un insieme di regole o parametri ottimizzati funzioni su dati non utilizzati per costruirli o regolarli. Differisce dai concetti correlati di valutazione forex — in particolare backtesting e test forward — perché questi concetti variano in base a quando e quali dati vengono utilizzati per l’adattamento rispetto alla valutazione delle prestazioni.

Un modo utile per pensare alla differenza è separare due fasi:

1. Formazione del modello/parametri (scelta di regole e parametri), e
2. Valutazione delle prestazioni (misurazione dei risultati).

Il test OOS mantiene distinte queste fasi utilizzando dati “nuovi” per la valutazione, che è il principale meccanismo per ridurre (ma non eliminare) risultati ottimistici causati dall’overfitting.

Meccanica: cosa fa ciascun concetto con i dati

Test fuori campione (OOS)

Il test fuori campione è la pratica di valutare una logica di trading proposta (regole, impostazioni degli indicatori, soglie, limiti di rischio e scelte simili) su un dataset che è stato escluso dal periodo utilizzato per costruire tali scelte.

In un contesto didattico standard, si assume:

• Di disporre di una serie storica dei prezzi.
• Di suddividerla in almeno due parti: una parte di “sviluppo” (in-campione) e una parte di “valutazione” (fuori campione).
• Di formare o regolare l’approccio utilizzando solo la parte di sviluppo.
• Di riportare le metriche di prestazione utilizzando solo la parte OOS.

L’obiettivo non è prevedere direttamente il futuro. Piuttosto, è verificare se i risultati apparenti dell’approccio nel periodo di sviluppo si mantengono su dati che non ha mai visto.

Backtesting

Il backtesting è il concetto più ampio di simulare come delle regole si sarebbero comportate su dati storici. Nella sua forma più semplice, il backtesting risponde alla domanda: “Se queste regole fossero state applicate nel passato, quali sarebbero stati i risultati simulati?”

Il backtesting può essere eseguito in molti modi, inclusi approcci in cui gli stessi dati vengono utilizzati sia per regolare che per valutare. Quando ciò accade, le prestazioni possono apparire migliori di quanto sarebbero con dati veramente non visti, perché la simulazione potrebbe riflettere scelte che casualmente corrispondono al rumore.

Pertanto, la differenza principale rispetto all’OOS non è che il backtesting sia “sbagliato”, ma che il backtesting da solo non garantisce una separazione rigorosa tra formazione e valutazione.

Test forward

Il test forward (talvolta definito “paper trading” o “esecuzione su dati successivi”) valuta un approccio su periodi successivi al periodo di sviluppo.

Concettualmente, enfatizza la cronologia: si permette al sistema di “funzionare” in periodi non disponibili durante lo sviluppo. Questo lo rende più vicino all’uso in tempo reale rispetto a una semplice suddivisione storica.

Tuttavia, il test forward dipende ancora da alcune assunzioni. Anche se l’ordine temporale viene rispettato, i risultati possono variare in base a:

• come vengono modellati i costi di transazione,
• se l’esecuzione viene simulata in modo realistico,
• e se le condizioni di mercato cambiano.

Confronto limitato: come differiscono i criteri

Di seguito è riportato un confronto limitato utilizzando criteri comuni di verifica. Per ogni criterio, il “proprietario canonico” è il concetto la cui definizione affronta più direttamente tale criterio.

1) Separazione dei dati tra sviluppo e valutazione

• Test OOS (proprietario canonico: OOS): richiede esplicitamente dati di valutazione esclusi.
• Backtesting (proprietario canonico: backtesting): può o meno separare lo sviluppo dalla valutazione.
• Test forward (proprietario canonico: test forward): valuta su periodi successivi, tipicamente dopo lo sviluppo, ma non garantisce automaticamente una separazione perfetta di tutte le decisioni di regolazione.

2) Scopo principale

• Test OOS: valutare la capacità di generalizzazione su nuovi dati storici.
• Backtesting: simulare il comportamento storico di un insieme di regole.
• Test forward: valutare il comportamento nel tempo su dati successivi.

3) Rischio di risultati ottimistici

• Test OOS: riduce il bias ottimistico quando viene effettuata una chiara separazione, ma può comunque soffrire di confronti multipli, regolazioni ripetute o data leakage tramite pre-elaborazione.
• Backtesting: può essere fortemente ottimistico se lo stesso dataset guida sia la progettazione che la valutazione.
• Test forward: può comunque essere ottimistico se il metodo viene ripetutamente rivisto utilizzando i risultati del test forward, o se le assunzioni sull’esecuzione non sono realistiche.

4) Modi tipici di fallimento

• Modi di fallimento del test OOS: data leakage (uso indiretto di informazioni future), overfitting sul segmento OOS specifico e selezione di parametri ripetuta su molti esperimenti.
• Modi di fallimento del backtesting: bias in-campione perché la valutazione si sovrappone al processo di adattamento.
• Modi di fallimento del test forward: cambiamento di regime dopo lo sviluppo e discrepanza tra esecuzione simulata e reale.

Evidenza o esempio (con assunzioni esplicite)

Consideriamo un semplice esempio didattico con assunzioni dichiarate fin dall’inizio.

Supponiamo di partire con una regola che utilizza un parametro: la lunghezza della finestra di osservazione. Disponiamo di 10 anni di dati sui prezzi settimanali.

• Periodo di sviluppo: anni 1–7
• Periodo di valutazione: anni 8–10

Passo A (formazione): Proviamo diverse lunghezze di finestra e scegliamo quella con le migliori prestazioni negli anni 1–7.

Passo B (test OOS): Manteniamo la lunghezza della finestra scelta fissa e valutiamo le prestazioni negli anni 8–10.

In questo contesto:

• Se i risultati migliorano notevolmente negli anni 8–10, ciò suggerisce che la regola possa generalizzare oltre il periodo di sviluppo.
• Se i risultati crollano nel segmento OOS, ciò indica che il successo nel periodo di sviluppo potrebbe essere stato specifico a quei dati precedenti.

Confrontiamolo ora con uno scenario di backtesting puro, in cui si valutano e si selezionano i parametri utilizzando tutti e 10 gli anni contemporaneamente. Anche se la simulazione mostra risultati forti, non si può attribuire loro capacità di generalizzazione perché il periodo di valutazione è stato indirettamente usato per modellare i parametri.

Infine, confrontiamolo con il test forward: supponiamo di sviluppare il metodo negli anni 1–7, quindi di eseguirlo negli anni 8–10 in un modo che simuli il progresso temporale. Può rivelare problemi come le assunzioni pratiche sull’esecuzione, ma non può comunque garantire prestazioni future, perché i mercati possono cambiare e perché costi di transazione ed eseguiti possono differire dai modelli semplificati.

Limitazioni e rischi (cosa può andare storto)

Anche con il test OOS, esistono limitazioni significative e modi di fallimento rilevanti per la valutazione forex.

1. Overfitting nonostante l’OOS Se si regolano ripetutamente i parametri in base ai risultati OOS, il segmento OOS diventa di fatto parte del processo decisionale. Ciò può reintrodurre ottimismo.

2. Data leakage Se la pre-elaborazione utilizza informazioni che non sarebbero state disponibili al momento della valutazione (ad esempio, normalizzazione calcolata con valori futuri), i risultati OOS possono essere fuorvianti.

3. Non stazionarietà e cambiamento di regime I mercati forex possono cambiare comportamento nel tempo. Un metodo che funziona in un regime potrebbe non funzionare in un altro, quindi le prestazioni OOS non garantiscono robustezza.

4. Disallineamento tra costi ed esecuzione Le simulazioni di backtesting e test forward spesso semplificano l’esecuzione degli ordini. Differenze nei costi di transazione, spread, slippage e gestione degli ordini possono modificare significativamente i risultati.