Definição de overfitting
Overfitting é quando um modelo (como uma regra de negociação, modelo de sinal ou preditor estatístico) se ajusta de forma muito próxima às peculiaridades dos dados históricos. Em termos simples, ele aprende padrões que são específicos do passado e que podem não reaparecer posteriormente. Uma ideia-chave é a diferença entre aprender uma relação verdadeira e memorizar características acidentais (frequentemente chamadas de “ruído”).
Como o overfitting funciona em forex
Em fluxos de trabalho de forex, você frequentemente estima uma regra usando dados históricos de preços e, em seguida, a avalia em dados adicionais. O overfitting normalmente aparece quando a regra se torna excessivamente complexa em relação à quantidade e à qualidade das informações no conjunto de dados.
Um modelo simples comum é: escolher parâmetros para maximizar o desempenho durante o backtesting (por exemplo, selecionar configurações que produzam o maior retorno em um histórico específico). Se for usada flexibilidade demais—muitos parâmetros ajustáveis, muitas variações testadas ou ajustes repetidos no mesmo conjunto de dados—o modelo pode efetivamente “explicar” movimentos aleatórios em vez de um comportamento estável.
Mesmo que o backtest use segmentos diferentes, o overfitting ainda pode ocorrer por meio de escolhas que implicitamente usam informações históricas mais do que o pretendido. Exemplos incluem alterar repetidamente o design com base nos resultados observados do backtest, ou comparar muitos modelos candidatos e selecionar aquele que parece melhor no período histórico. Cada etapa de seleção pode inclinar os resultados em direção ao passado.
Conceitos adjacentes que são frequentemente confundidos
Overfitting é distinto destes problemas relacionados:
- Underfitting: o modelo é simples demais para capturar qualquer estrutura significativa, então ele tem desempenho ruim até mesmo nos dados de treinamento.
- Vazamento de dados: informações usadas durante a construção do modelo incluem acidentalmente informações futuras (por exemplo, usar uma estatística calculada com dados que não estariam disponíveis no momento da decisão). Overfitting é sobre ajuste excessivo; vazamento é sobre o timing incorreto das informações.
- Mudança de regime: o ambiente de mercado muda, de modo que as relações históricas se enfraquecem. A mudança de regime pode causar fraqueza fora da amostra mesmo sem overfitting, portanto você não deve presumir que uma causa a outra.
Evidências e um exemplo concreto (com suposições claras)
Suponha que você tenha uma série histórica e uma regra com um único limite ajustável. Se você tentar muitos limites e selecionar aquele com a maior pontuação no backtest, estará realizando uma forma de “busca”. Com busca suficiente, o limite de melhor aparência pode refletir aleatoriedade particular à janela histórica.
Para verificar isso, você precisa de uma avaliação que não foi usada durante a seleção. Se a regra permanecer forte em dados verdadeiramente não vistos, isso é mais consistente com um padrão estável. Se o desempenho entrar em colapso, isso sugere que o sucesso histórico pode ter sido impulsionado pelo ajuste ao ruído.
Limitações e modos de falha
Overfitting não é o único motivo pelo qual um backtest pode falhar. As limitações materiais incluem:
- Custos de transação e efeitos de execução: custos reais, slippage e preenchimentos parciais podem diferir das suposições do backtest. Essas diferenças podem fazer um modelo antes bom parecer ruim, mesmo que o overfitting seja mínimo.
- Não estacionariedade: a dinâmica do forex pode mudar ao longo do tempo. Uma regra “boa” pode parar de funcionar porque a relação subjacente muda.
- Viés de seleção por testes repetidos: cada rodada de ajuste aumenta a chance de você ter selecionado um artefato histórico.
- Métricas superestimadas: algumas medidas de desempenho podem ser sensíveis a um pequeno número de negociações atípicas, dando uma impressão enganosa de robustez.
Como os resultados variam com as condições de mercado, suposições, custos e qualidade de execução, você não pode concluir que um modelo irá generalizar apenas porque obteve boa pontuação historicamente.
Como verificar se há overfitting
Você pode avaliar o overfitting de forma independente usando práticas gerais de verificação de modelos:
- Use um teste estritamente fora da amostra que não seja consultado durante a seleção de parâmetros.
- Controle a complexidade do modelo reduzindo o número de graus de liberdade quando possível.
- Minimize o ajuste repetido nos dados de avaliação; trate a seleção e a avaliação como etapas separadas.
- Adote suposições realistas consistentes com o que seria conhecido e executável na época.
Se a vantagem aparente de um modelo diminuir substancialmente quando testado em dados genuinamente não vistos, isso é consistente com overfitting. Se o desempenho for semelhante em períodos não vistos, o overfitting é menos provável—mas nunca totalmente eliminado, porque o comportamento futuro e a qualidade dos dados permanecem incertos.