Limitações da Prática de Backtesting

A prática de backtesting em termos simples

A prática de backtesting é o processo de avaliar uma ideia de negociação (por exemplo, uma entrada e saída baseada em regras) aplicando-a a dados históricos de preços. O objetivo é estimar o que a ideia poderia ter produzido no passado se as mesmas regras fossem seguidas.

Um backtest normalmente inclui (1) dados históricos, (2) uma regra ou modelo que gera ações a partir desses dados e (3) uma forma de calcular resultados como lucro e prejuízo, rebaixamento (drawdown) e frequência de ganhos/perdas. Esses cálculos dependem de premissas sobre o que aconteceu dentro de cada período de tempo (por exemplo, como os preços se moveram entre os pontos de dados registrados) e sobre a execução das negociações (por exemplo, comissões, spreads e se as ordens foram preenchidas).

Por que o backtesting pode ser menos útil do que parece

Uma limitação fundamental é que o backtest é uma simulação do passado, não uma observação do futuro. Mesmo quando os resultados históricos parecem fortes, as relações aprendidas com a história podem não se repetir sob novas condições de mercado. As limitações abaixo explicam modos comuns de falha.

1) Lacunas nos dados históricos e na microestrutura do mercado

A maioria dos backtests usa barras ou ticks de preço registrados, mas a negociação real envolve mais detalhes do que muitos conjuntos de dados capturam. Se seus dados históricos estiverem incompletos, ajustados de uma forma que mude o significado do preço, ou sem as informações necessárias para modelar o preenchimento de ordens, o backtest pode se desviar do que aconteceria na negociação ao vivo.

Além disso, o mapeamento dos preços registrados para possíveis preenchimentos é incerto. Por exemplo, se uma regra assume um preenchimento em um nível de preço específico, mas o mercado real poderia ter se movido além desse nível antes que uma ordem pudesse ser executada, a simulação se torna otimista.

2) Custos, qualidade de execução e premissas de derrapagem (slippage)

Mesmo que a lógica da estratégia esteja correta, os resultados dependem fortemente das premissas sobre custos de transação e execução. Backtests às vezes usam modelos de custo simplificados (por exemplo, spreads constantes ou sem derrapagem) ou assumem preenchimento perfeito de ordens. Na prática, os spreads aumentam, a liquidez muda e a derrapagem pode variar com a volatilidade e o horário do dia.

Como pequenas diferenças de custo podem se acumular ao longo de muitas negociações, um backtest que ignore ou subestime esses efeitos pode superestimar o desempenho.

3) Sobreajuste (overfitting) e espionagem de dados (data-snooping)

O backtesting pode, sem intenção, “ajustar” o ruído de um conjunto de dados específico. Isso acontece quando muitos parâmetros são testados e selecionados porque melhoraram os resultados passados. Quanto mais você procura uma combinação que pareça boa nos mesmos dados, maior a chance de que a vantagem aparente seja específica para aquele período, em vez de uma propriedade geral do mercado.

Uma questão relacionada é a espionagem de dados: testar repetidamente muitas variantes até que uma pareça ter bom desempenho. Sem uma separação cuidadosa dos períodos de treinamento e teste, resultados passados fortes podem não refletir um mecanismo repetível.

4) Mercados não estacionários e condições em mudança

Os mercados não são sistemas estáveis. Os regimes de volatilidade mudam, a participação se altera e a liquidez pode se mover. Uma regra que funcionou durante um ambiente pode se comportar de forma diferente quando os spreads, a volatilidade ou as correlações mudam.

Mesmo sem eventos regulatórios ou estruturais, as propriedades estatísticas das séries de preços podem se desviar. Isso significa que as premissas que foram implicitamente “incorporadas” durante o período testado podem não se manter mais.

5) Definição ambígua do que exatamente está sendo testado

Os backtests podem ser difíceis de comparar porque as entradas e regras diferem. Para qualquer exemplo, você deve ser capaz de declarar:

• Qual frequência de dados foi usada (por exemplo, barras vs. ticks).
• Como os indicadores ou características foram calculados e se usaram apenas informações disponíveis no momento.
• Como as entradas e saídas foram decididas e como os preenchimentos de ordens foram modelados.

Se algum desses detalhes não estiver claro, o backtest pode não testar a ideia pretendida; pode, em vez disso, testar um artefato da implementação escolhida.

Verificação que pode melhorar a confiabilidade

Você não pode fazer um backtest “provar” que uma estratégia funcionará, mas pode verificar se os resultados provavelmente são robustos.

Uma abordagem prática de verificação é definir as premissas explicitamente e testar a sensibilidade. Por exemplo, varie os parâmetros de custo dentro de faixas razoáveis ou use diferentes períodos históricos com diferentes condições de mercado. Separadamente, use testes fora da amostra: avalie as regras em dados não usados para a seleção de parâmetros.