Definição e propósito do teste prospectivo
O teste prospectivo é uma forma de avaliar uma abordagem de negociação baseada em regras em dados que vêm após a etapa de configuração. O objetivo é ver se a abordagem que funcionou durante a configuração também se comporta de maneira razoável quando exposta a condições novas e não vistas. Na prática, geralmente significa aplicar a mesma lógica de entrada/saída, regras de risco e premissas a períodos posteriores (ou a um feed simulado “como ao vivo”) e medir os resultados sob um método de avaliação definido.
Uma ideia-chave é separar a mecânica que você controla (suas regras, seu método de avaliação e suas premissas) das condições de mercado e execução que você não pode controlar totalmente (dinâmica de preços, custos de negociação e como as ordens são preenchidas). Se qualquer um dos lados for modelado de forma irrealista, os resultados do teste prospectivo podem parecer melhores ou piores do que o que aconteceria na negociação real.
Como o teste prospectivo funciona na prática
A maioria dos testes prospectivos se baseia em três componentes:
- Uma definição de estratégia fixa: A lógica de entrada/saída e quaisquer filtros permanecem inalterados.
- Uma estrutura de avaliação fixa: Você decide como as posições são dimensionadas, como as negociações são contabilizadas e quais métricas você registra.
- Premissas sobre execução: Mesmo usando dados posteriores, você ainda precisa de premissas sobre preenchimentos (por exemplo, se as ordens são preenchidas no preço registrado e como você lida com spreads).
Como esses componentes são explícitos, você pode reexecutar a abordagem de forma independente com as mesmas regras e premissas. Mas o teste prospectivo permanece limitado pelo que você escolhe assumir e por quão próximo sua simulação está das condições reais de negociação.
Evidências e exemplos de onde os testes prospectivos falham
Os testes prospectivos podem falhar mesmo quando parecem “corresponder” aos dados históricos. Modos de falha comuns incluem:
- Incompatibilidade de execução: Seu teste prospectivo pode usar preenchimentos idealizados, enquanto a negociação real pode incluir slippage, atrasos, preenchimentos parciais e variação de spread. Pequenas diferenças na execução podem se acumular ao longo de muitas negociações.
- Relações de mercado em mudança: Uma estratégia pode explorar um padrão que existe em um período, mas enfraquece depois. O teste prospectivo pode detectar essa fraqueza, mas não pode provar que a relação permanecerá estável.
- Sobreajuste por avaliação repetida: Se você ajusta repetidamente as regras com base em novos resultados prospectivos, o período posterior não é mais “verdadeiramente não visto”. A avaliação então se torna um ciclo de feedback que pode inflar o desempenho aparente.
- Custos e restrições não modelados: Comissões, financiamento, diferenças entre bid/ask e limites de negociação podem não ser representados de forma consistente. Se os custos forem subestimados, os resultados podem se tornar enganosos.
Esses exemplos compartilham um tema: o teste prospectivo é tão confiável quanto o realismo de suas premissas e a disciplina de manter a estratégia fixa.
Limitações e riscos: incerteza que você não pode remover
O teste prospectivo reduz alguns riscos (verifica o comportamento fora da janela de configuração), mas não remove a incerteza. As principais limitações são:
- Nenhuma garantia de resultados futuros: O teste prospectivo é retrospectivo em relação ao período testado. Os resultados variam com as condições de mercado, qualidade de execução, custos e outros fatores.
- Lacunas de modelagem: Mesmo sem dados em tempo real, um teste prospectivo precisa de premissas sobre como as negociações teriam sido preenchidas e como suas regras se comportariam sob diferentes regimes de liquidez ou volatilidade.
- Escolhas de avaliação afetam conclusões: Diferentes métricas (lucro, rebaixamento, volatilidade, frequência de negociação), diferentes regras de dimensionamento de risco ou diferentes “tratamentos de eventos” (empates, dados ausentes, interrupções de mercado) podem mudar o que você considera um resultado aceitável.
Abordagem de verificação e o que perguntar em seguida
Para verificar alegações de teste prospectivo de forma autocontida, concentre-se na reprodutibilidade:
- Liste as premissas usadas para execução, custos e preenchimentos, e mantenha-as explícitas.
- Mantenha a estratégia fixa da etapa de configuração até a etapa de teste prospectivo e evite mudanças repetidas de regras com base no desempenho prospectivo.
- Documente as regras de avaliação (dimensionamento de posição, contagem de negociações e definições de métricas) para que outra pessoa possa aplicar o mesmo método.
- Repita em múltiplas janelas prospectivas (ou múltiplos segmentos fora da amostra) para verificar se os resultados são consistentes ou isolados.
Se você quiser um próximo passo mais aprofundado, esclareça a diferença entre “uma estratégia se comporta de forma aceitável durante um período prospectivo” e “a abordagem é robusta em diferentes regimes de mercado sob execução realista”. A primeira é uma verificação parcial; a segunda é muito mais difícil e depende fortemente de quão bem a execução e os custos são representados.