Prática de backtesting em termos simples
A prática de backtesting é o processo de avaliar uma ideia de trading (por exemplo, uma regra de entrada e saída baseada em regras) executando-a em dados históricos de preço. O objetivo é estimar o que essa ideia poderia ter produzido no passado se as mesmas regras tivessem sido seguidas.
Um backtest normalmente inclui (1) dados históricos, (2) uma regra ou modelo que gera ações a partir desses dados e (3) uma forma de calcular resultados como lucro e prejuízo, drawdown e frequência de acertos/erros. Esses cálculos dependem de suposições sobre o que aconteceu dentro de cada período de tempo (por exemplo, como os preços se moveram entre os pontos de dados registrados) e sobre a execução das operações (por exemplo, comissões, spreads e se as ordens foram executadas).
Por que o backtesting pode ser menos útil do que parece
Uma limitação-chave é que o backtest é uma simulação do passado, não uma observação do futuro. Mesmo quando os resultados históricos parecem fortes, os relacionamentos aprendidos com o histórico podem não se repetir sob novas condições de mercado. As limitações abaixo explicam modos comuns de falha.
1) Lacunas em dados históricos e microestrutura do mercado
A maioria dos backtests usa barras ou ticks de preço registrados, mas o trading real envolve mais detalhes do que muitos conjuntos de dados capturam. Se seus dados históricos estiverem incompletos, ajustados de uma forma que mude o significado do preço, ou sem informações necessárias para modelar a execução de ordens, o backtest pode divergir do que aconteceria no trading ao vivo.
Além disso, o mapeamento de preços registrados para possíveis execuções é incerto. Por exemplo, se uma regra assume uma execução em um nível de preço específico, mas o mercado real poderia ter passado desse nível antes que uma ordem pudesse ser executada, a simulação se torna otimista.
2) Suposições de custos, qualidade de execução e slippage
Mesmo que a lógica da estratégia esteja correta, os resultados dependem fortemente de suposições sobre custos de transação e execução. Backtests às vezes usam modelos simplificados de custo (por exemplo, spreads constantes ou ausência de slippage) ou assumem execução perfeita de ordens. Na prática, os spreads se ampliam, a liquidez muda e o slippage pode variar com a volatilidade e o horário do dia.
Como pequenas diferenças de custo podem se acumular ao longo de muitas operações, um backtest que ignora ou subestima esses efeitos pode superestimar o desempenho.
3) Overfitting e data-snooping
O backtesting pode, sem querer, “ajustar” o ruído de um conjunto de dados específico. Isso acontece quando muitos parâmetros são testados e selecionados porque melhoraram os resultados do passado. Quanto mais você busca uma combinação que pareça boa nos mesmos dados, maior a chance de que a vantagem aparente seja específica daquele período, e não uma característica geral do mercado.
Um problema relacionado é o data-snooping: testar repetidamente muitas variações até que uma pareça ter bom desempenho. Sem uma separação cuidadosa entre períodos de treinamento e teste, resultados fortes do passado podem não refletir um mecanismo reproduzível.
4) Mercados não estacionários e condições em mudança
Os mercados não são sistemas estáveis. Regimes de volatilidade mudam, a participação se desloca e a liquidez pode se mover. Uma regra que funcionou em um ambiente pode se comportar de forma diferente quando spreads, volatilidade ou correlações mudam.
Mesmo sem eventos regulatórios ou estruturais, as propriedades estatísticas das séries de preços podem se deslocar. Isso significa que as suposições que foram implicitamente “embutidas” durante o período que você testou podem não valer mais.
5) Definição ambígua do que exatamente está sendo testado
Backtests podem ser difíceis de comparar porque as entradas e as regras diferem. Para qualquer exemplo, você deve conseguir declarar:
- Qual frequência de dados foi usada (por exemplo, barras vs. ticks).
- Como indicadores ou features foram calculados e se usaram apenas informações disponíveis no momento.
- Como as entradas e saídas foram decididas e como as execuções das ordens foram modeladas.
Se algum desses detalhes estiver pouco claro, o backtest pode não testar a ideia pretendida; em vez disso, pode testar um artefato da implementação escolhida.
Verificação que pode melhorar a confiabilidade
Você não pode fazer um backtest “provar” que uma estratégia vai funcionar, mas pode verificar se os resultados provavelmente serão robustos.
Uma abordagem prática de verificação é definir suposições explicitamente e testar a sensibilidade. Por exemplo, variar parâmetros de custo dentro de faixas razoáveis ou usar períodos históricos diferentes com condições de mercado distintas. Separadamente, use testes fora da amostra: avaliar as regras em dados que não foram usados para a seleção de parâmetros.
DOCUMENT END