O que é backtesting e por que os riscos aparecem
Backtesting é um método de análise que aplica uma ideia de trading baseada em regras a dados históricos para estimar como ela poderia ter se comportado no passado. A ideia geralmente é codificada como condições de entrada e saída, controles de risco e suposições sobre como as operações foram preenchidas.
O risco central é que um backtest não é o mercado. É uma reconstrução simplificada feita a partir de entradas (dados, regras, custos e suposições de execução). Se essas entradas não corresponderem às condições reais, os resultados podem ser sistematicamente enganosos.
Riscos de mecanismo: entradas, modelagem e suposições de execução
Um backtest depende de detalhes operacionais que é fácil aproximar, mas difícil reproduzir.
- Qualidade e realismo dos dados: Séries históricas de preço podem omitir spreads, variar a granularidade ou diferir das cotações negociáveis exatas que você teria recebido. Se seu backtest usa um preço “limpo”, mas a execução real usa spreads mais amplos ou preços diferentes no momento em que a ordem é colocada, as estimativas de desempenho podem mudar.
- Custos de transação e liquidez: Muitos backtests subestimam custos. Taxas, comissões e, especialmente, efeitos de liquidez (por exemplo, o preço se mover entre o momento do sinal e o momento do preenchimento) podem reduzir os retornos. Mesmo que os retornos pareçam fortes antes dos custos, a diferença pode crescer após custos realistas.
- Modelagem de execução de ordens: Backtesting geralmente assume preenchimentos em preços previsíveis. O trading real pode ser diferente devido a preenchimentos parciais, posição na fila, slippage e se as ordens são a mercado ou limitadas. Se sua lógica de preenchimento for otimista, a curva de patrimônio simulada pode não refletir os drawdowns reais.
- Erros de amostragem e timing: Usar sinais do fim da barra como se eles pudessem ser executados no mesmo fechamento da barra é uma incompatibilidade comum. Na realidade, o sinal só é conhecido depois da atualização do preço, então a execução ocorreria mais tarde (ou com preços disponíveis diferentes).
Riscos de mercado e de cenários: a história não fica estável
Mesmo com dados perfeitos e modelagem de execução, os mercados podem mudar.
- Mudanças de regime: O comportamento do Forex pode ser diferente entre regimes de volatilidade, períodos macroeconômicos e condições de liquidez. Uma regra que funcionou em um regime histórico pode falhar em outro.
- Relações não estacionárias: Padrões estatísticos podem enfraquecer quando spreads se ampliam, correlações mudam ou a distribuição da volatilidade muda. Um backtest pode medir “o que aconteceu sob condições passadas”, não “o que acontecerá a seguir”.
Limitação material: relações históricas não estabelecem resultados futuros.
Riscos de contraparte e operacionais: o que uma simulação muitas vezes ignora
Backtests normalmente focam em preço e regras, não nas restrições práticas do trading.
- Restrições de plataforma e conectividade: Atrasos, ordens rejeitadas ou interrupções temporárias podem impedir que operações sejam colocadas ou encerradas conforme modelado.
- Margem, alavancagem e controles de risco: Se exigências de margem, comportamento de liquidação forçada ou limites de risco diferirem da simulação, os resultados podem não ser alcançáveis na prática.
- Restrições relacionadas à contraparte: O trading real pode ser afetado por processos operacionais e políticas de execução que não são representados apenas pelo preço histórico.
Esses riscos não são necessariamente visíveis nos relatórios de backtest, mas podem dominar os resultados durante períodos de estresse.
Riscos de interpretação: overfitting, viés de retrospectiva e confiança enganosa
Um grande modo de falha não é a matemática, mas a interpretação.
- Overfitting: Se os parâmetros forem ajustados repetidamente para corresponder aos dados passados, o backtest pode capturar ruído em vez de um sinal durável. Regras com overfitting podem degradar rapidamente em novos dados.
- Viés de retrospectiva: Quando você “enxerga” o passado, é tentador selecionar suposições que façam os resultados parecerem consistentes. Então, um backtest pode refletir o processo de seleção, não uma vantagem subjacente.
- Certeza de um único indicador: Uma estratégia pode parecer lucrativa em um indicador (por exemplo, retorno total) enquanto esconde um risco extremo severo (grandes drawdowns, longas sequências de perdas ou vulnerabilidade a condições específicas).
Uma verificação controlável é tratar o backtest como um teste de hipótese e, em seguida, perguntar se a ideia continua plausível sob suposições estressadas e dados fora da amostra.
Exemplo de evidência: uma incompatibilidade simples que pode mudar conclusões
Suponha que uma regra gere sinais no fim de cada barra de tempo. Se o backtest assume que você pode entrar no preço de fechamento daquela barra, mas na realidade você só envia a ordem após o fechamento e a execução ocorre no próximo preço disponível, a entrada é sistematicamente pior.