Resposta direta
O backtesting de EAs é o processo de executar um assessor especialista (EA) em dados históricos de mercado para estimar como ele poderia ter se saído no passado. A principal limitação é a incerteza: o que funcionou historicamente pode falhar depois, porque preços futuros, liquidez, volatilidade e atritos de negociação podem diferir, e porque a configuração do teste pode não refletir a execução real.
Mecânica e o que é assumido
O backtesting normalmente utiliza (1) as regras de um EA, (2) dados históricos de preços e (3) um conjunto de premissas de modelagem sobre como as negociações seriam executadas. As premissas podem incluir como os spreads e as comissões se comportam, se as ordens são executadas no preço exibido ou após atrasos, e como a derrapagem é tratada. Mesmo que a lógica do EA seja estável, o teste só é tão realista quanto o ambiente de teste.
Uma forma útil de pensar sobre isso é a separação entre mecânica estável e condições variáveis:
- Mecânica estável: as regras de decisão do EA e a lógica de geração de ordens.
- Condições variáveis: regimes de mercado, liquidez, spreads de compra e venda, velocidade de execução e os custos de negociação realmente incorridos.
Se o backtest tratar as condições variáveis de forma muito idealizada (por exemplo, usando os mesmos spreads exibidos no gráfico ou ignorando a derrapagem), os resultados simulados podem ser sistematicamente diferentes do que aconteceria quando o EA negocia com restrições reais.
Evidência ou exemplo de por que pode falhar
Considere um backtest que mostra retornos fortes usando barras históricas. Na negociação ao vivo, pelo menos três categorias de diferenças podem aparecer:
- Diferenças de dados: o feed histórico pode não representar o caminho exato de preços que existiu tick a tick.
- Diferenças de execução: as execuções podem ser piores devido a derrapagem, execuções parciais ou latência.
- Diferenças de ambiente: o EA pode depender de condições de volatilidade ou tendência que mudam posteriormente.
Mesmo sem qualquer codificação “errada”, essas diferenças podem alterar o momento das negociações e a sequência de entradas e saídas, o que importa muito para estratégias sensíveis ao posicionamento de ordens e à microestrutura do mercado.
Limitações e riscos
Os modos de falha materiais incluem:
- Sobreajuste ao histórico: um EA pode parecer otimizado para padrões passados, enquanto os mercados futuros seguem dinâmicas diferentes.
- Viés de antecipação e vazamentos ocultos de premissas: as configurações do teste podem usar acidentalmente informações que o EA não teria naquele momento.
- Viés de sobrevivência e de seleção: se o período testado foi escolhido porque parecia favorável, os resultados podem não se generalizar.
- Subestimação de custos e execução: pequenas diferenças em comissões, spreads e derrapagem podem afetar materialmente a lucratividade, especialmente para estratégias com negociações frequentes.
Uma limitação fundamental é a incompatibilidade entre “relações históricas” e “resultados futuros”. O desempenho histórico pode refletir muitas condições transitórias; não é evidência de que essas condições persistirão.
Verificação ou próxima pergunta
Para verificar de forma independente o que um backtest pode e não pode dizer, concentre-se em saber se a configuração do teste corresponde a restrições de negociação realistas: a qualidade dos dados, o tratamento de spreads e comissões e como a derrapagem e o momento de execução das ordens são modelados. Se o desempenho de um EA depender fortemente de premissas altamente específicas, então o backtest é menos útil como evidência.
Uma boa próxima pergunta é: “Quais entradas e premissas de execução mais alterariam os resultados das negociações e quão sensíveis são os resultados a variações razoáveis dessas premissas?”