Testes Fora da Amostra vs. conceitos relacionados de forex

Resposta direta

Testes Fora da Amostra (frequentemente abreviados como testes OOS) são uma etapa de avaliação projetada para medir o quão bem um conjunto de regras ou parâmetros ajustados funciona em dados que não foram usados para construí-los ou ajustá-los. Isso difere de conceitos relacionados de avaliação em forex—especialmente backtesting e testes forward—porque esses conceitos variam em quando e quais dados são usados para ajuste versus avaliação de desempenho.

Uma maneira útil de pensar sobre a diferença é separar duas fases:

1. Formação do modelo/parâmetros (escolha de regras e parâmetros), e
2. Avaliação de desempenho (medição de resultados).

Os testes OOS mantêm essas fases distintas ao usar dados “novos” para avaliação, o que é o principal mecanismo que reduz (mas não elimina) resultados otimistas causados por sobreajuste.

Mecânica: o que cada conceito faz com os dados

Testes Fora da Amostra (OOS)

Testes Fora da Amostra são a prática de avaliar uma lógica de negociação candidata (regras, configurações de indicadores, limites, limites de risco e escolhas semelhantes) em um conjunto de dados que foi retido do período usado para construir essas escolhas.

Em uma configuração educacional padrão, você assume:

• Você tem uma série de preços histórica.
• Você a divide em pelo menos duas partes: uma parte de “desenvolvimento” (dentro da amostra) e uma parte de “avaliação” (fora da amostra).
• Você forma ou ajusta a abordagem usando apenas a parte de desenvolvimento.
• Você relata métricas de desempenho usando apenas a parte OOS.

O objetivo não é prever o futuro diretamente. Em vez disso, é testar se os resultados aparentes da abordagem no período de desenvolvimento se estendem a dados que ela não viu.

Backtesting

Backtesting é o conceito mais amplo de simular como regras teriam se saído em dados históricos. Em sua forma mais simples, o backtesting responde: “Se essas regras tivessem sido aplicadas ao passado, quais teriam sido os resultados simulados?”

O backtesting pode ser realizado de muitas maneiras, incluindo abordagens onde os mesmos dados são usados tanto para ajustar quanto para avaliar. Quando isso acontece, o desempenho pode parecer melhor do que seria com dados verdadeiramente não vistos, porque a simulação pode refletir escolhas que acidentalmente correspondem a ruído.

Então, a diferença chave versus OOS não é que o backtesting está “errado”, mas que o backtesting sozinho não garante uma separação estrita entre formação e avaliação.

Testes forward

Testes forward (às vezes descritos como “negociação simulada” ou “execução em dados posteriores”) avaliam uma abordagem ao longo de períodos de tempo posteriores após o período de desenvolvimento.

Conceitualmente, isso enfatiza o tempo: você deixa o sistema “rodar” em períodos que não estavam disponíveis durante o desenvolvimento. Isso o torna mais próximo do uso em tempo real do que uma única divisão histórica.

No entanto, os testes forward ainda dependem de suposições. Mesmo que a ordem temporal seja respeitada, os resultados podem variar com:

• como os custos de transação são modelados,
• se a execução é simulada de forma realista,
• e se as condições de mercado mudam.

Comparação delimitada: como os critérios diferem

Abaixo está uma comparação delimitada usando critérios comuns de verificação. Para cada critério, o “proprietário canônico” é o conceito cuja definição aborda mais diretamente esse critério.

1) Separação de dados entre desenvolvimento e avaliação

• Testes OOS (proprietário canônico: OOS): exige explicitamente dados de avaliação retidos.
• Backtesting (proprietário canônico: conceito de backtesting): pode ou não separar desenvolvimento de avaliação.
• Testes forward (proprietário canônico: testes forward): avaliam em períodos posteriores, tipicamente após o desenvolvimento, mas não garantem automaticamente a separação perfeita de todas as decisões de ajuste.

2) Propósito principal

• Testes OOS: avaliar a generalização para novos dados históricos.
• Backtesting: simular o comportamento histórico de um conjunto de regras.
• Testes forward: avaliar o comportamento à medida que o tempo avança para dados posteriores.

3) Risco de resultados otimistas

• Testes OOS: reduzem o viés otimista quando feitos com uma divisão clara, mas ainda podem sofrer de comparações múltiplas, reajustes repetidos ou vazamento via pré-processamento.
• Backtesting: pode ser altamente otimista se o mesmo conjunto de dados impulsionar tanto o design quanto a avaliação.
• Testes forward: ainda podem ser otimistas se o método for revisado repetidamente usando os resultados dos testes forward, ou se as suposições de execução forem irrealistas.

4) Modos de falha típicos

• Modos de falha dos testes OOS: vazamento de dados (uso indireto de informações futuras), sobreajuste ao segmento OOS específico e seleção de parâmetros repetida em muitos experimentos.
• Modos de falha do backtesting: viés dentro da amostra porque a avaliação se sobrepõe ao processo de ajuste.
• Modos de falha dos testes forward: mudança de regime após o desenvolvimento e incompatibilidade entre execução simulada e execução real.

Evidência ou exemplo (com suposições explícitas)

Considere um exemplo educacional simples com suposições declaradas antecipadamente.

Suponha que você comece com uma regra que usa um parâmetro: um comprimento de janela de observação. Você tem 10 anos de dados de preços semanais.

• Período de desenvolvimento: anos 1–7
• Período de avaliação: anos 8–10

Etapa A (formação): Você tenta vários comprimentos de janela e escolhe aquele com o melhor desempenho durante os anos 1–7.

Etapa B (teste OOS): Você mantém o comprimento de janela escolhido fixo e avalia o desempenho nos anos 8–10.

Nesta configuração:

• Se os resultados melhorarem drasticamente nos anos 8–10, isso sugere que a regra pode generalizar além do período de desenvolvimento.
• Se os resultados desmoronarem no segmento OOS, isso indica que o sucesso do período de desenvolvimento pode ter sido específico para aqueles dados anteriores.

Agora compare com um cenário de backtesting puro onde você avalia e também seleciona parâmetros usando todos os 10 anos de uma vez. Mesmo que a simulação mostre resultados fortes, você não pode atribuí-los à generalização porque o período de avaliação foi usado indiretamente para moldar os parâmetros.

Finalmente, compare com testes forward: suponha que você desenvolva o método nos anos 1–7 e depois o execute ao longo dos anos 8–10 de uma maneira que se assemelhe à progressão temporal. Isso pode revelar problemas como suposições práticas de execução, mas ainda não pode garantir desempenho futuro, porque os mercados podem mudar e porque os custos de transação e as execuções podem diferir de modelos simplificados.

Limitações e riscos (o que pode dar errado)

Mesmo com testes OOS, existem limitações materiais e modos de falha relevantes para a avaliação em forex.

1. Sobreajuste apesar do OOS Se você ajustar repetidamente os parâmetros com base nos resultados OOS, o segmento OOS efetivamente se torna parte do processo de decisão. Isso pode reintroduzir otimismo.

2. Vazamento de dados Se o pré-processamento usar informações que não estariam disponíveis no momento da avaliação (por exemplo, normalização calculada usando valores futuros), os resultados OOS podem ser enganosos.

3. Não estacionariedade e mudança de regime Os mercados de forex podem mudar de comportamento ao longo do tempo. Um método que funciona em um regime pode não funcionar em outro, então o desempenho OOS não é uma garantia de robustez.

4. Incompatibilidade de custos e execução Simulações de backtesting e testes forward frequentemente simplificam a execução de negociações. Diferenças em custos de transação, spreads, derrapagem e manuseio de ordens podem mudar os resultados de forma significativa.