Resposta direta: o que é o teste prospectivo
O teste prospectivo é um método de avaliação no qual você pega regras de negociação definidas anteriormente (por exemplo, após o backtesting) e as testa em informações posteriores que não foram usadas para criar ou ajustar essas regras. Na prática, “posterior” geralmente significa um novo período de tempo após aquele usado para o desenvolvimento, ou um conjunto de dados mantido totalmente separado.
A ideia central é simples: o teste prospectivo tenta imitar o que aconteceria se as regras encontrassem condições reais fora da amostra histórica usada para projetá-las. Ele é usado no forex e em outros mercados para avaliar se uma estratégia é robusta, em vez de estritamente ajustada a um período passado específico.
Como o teste prospectivo funciona
O teste prospectivo geralmente é estruturado em torno de um conjunto de regras fixas e uma separação rigorosa entre desenvolvimento e avaliação.
1) Comece com uma definição completa das regras
Um teste prospectivo precisa de detalhes suficientes para ser reproduzível sem “ajustes em tempo real”. Isso normalmente inclui a lógica de entrada e saída, premissas de dimensionamento de posição (mesmo que simplificadas), controles de risco, se houver, e as premissas de sessão de negociação (por exemplo, se você permite negociações a qualquer momento ou apenas durante determinados horários).
“Regras fixas” é importante porque quaisquer alterações feitas após ver os primeiros resultados podem confundir a linha entre avaliação e otimização.
2) Mantenha o período de avaliação separado
Os dados de avaliação não devem ser tocados durante a fase de construção das regras. A separação pode ser baseada no tempo (um intervalo de datas posterior) ou baseada no conjunto de dados (uma fatia separada de dados). De qualquer forma, o objetivo é evitar o vazamento do conjunto de avaliação para o processo de desenvolvimento.
Mesmo com uma divisão correta, os resultados podem ser enganosos se o estágio de desenvolvimento influenciar acidentalmente o desenho do teste (por exemplo, escolhendo indicadores, limites ou filtros após observar padrões no que deveria ter sido o período de avaliação).
3) Aplique as regras e registre os resultados
Durante o teste prospectivo, você executa as regras nos dados de avaliação usando as mesmas premissas que foram usadas ao definir as regras. Os resultados são medidos com quaisquer métricas de desempenho relevantes para o conjunto de regras e o escopo do teste (por exemplo, consistência ao longo do tempo, comportamento de rebaixamento e estabilidade dos resultados, em vez de apenas um único número de destaque).
Os detalhes de execução são importantes. Se o teste usar preenchimentos simplificados (por exemplo, assumindo preenchimentos perfeitos ou ignorando custos de transação), ele pode exagerar o realismo. Se o teste incluir fricções mais realistas (como spreads e comissões como premissas), ainda pode ser incerto porque a execução real pode diferir.
4) Interprete os resultados como evidência, não como prova
Um teste prospectivo é uma verificação de robustez, não uma garantia. Mesmo que o período de teste tenha um bom desempenho, ele continua sendo apenas uma amostra das condições de mercado. Se tiver um desempenho ruim, pode indicar que as regras são frágeis—ou pode refletir que o período de avaliação foi excepcionalmente difícil em relação ao período de desenvolvimento.
Limitações e riscos relevantes
O teste prospectivo reduz alguns problemas comuns (notavelmente o sobreajuste), mas não elimina a incerteza.
Tamanho de amostra limitado e condições de mercado em mudança
As condições do forex podem mudar ao longo do tempo devido a eventos macroeconômicos, mudanças de regime de volatilidade, diferenças de liquidez e mudanças nos spreads típicos. Um teste prospectivo cobre apenas um período de tempo, então o resultado pode refletir aquele regime específico.
Por causa disso, o teste prospectivo não pode fornecer certeza sobre o desempenho futuro; ele só pode fornecer uma estimativa mais bem informada do que o backtesting sozinho.
Viés por meio de “ajuste oculto”
Mesmo que o conjunto de avaliação seja inicialmente separado, o viés pode surgir quando você executa repetidamente variantes de uma estratégia e promove a versão que parece melhor na janela do teste prospectivo. Isso às vezes é descrito como teste repetido com muitas chances.
Outro risco comum é fazer ajustes discricionários após observar o comportamento inicial. Se as regras mudarem devido aos resultados observados no período de teste, o teste deixa de ser uma avaliação limpa.
Lacunas no realismo da execução
O teste prospectivo frequentemente depende de premissas para execução e restrições de negociação. Se essas premissas forem simplificadas, os resultados podem ser otimistas. Se forem excessivamente conservadoras, os resultados podem parecer piores do que o que poderia ser alcançável.
Além disso, a negociação simulada (“paper trading”) ou a simulação podem não capturar totalmente fatores operacionais, como manuseio de ordens, comportamento de slippage e o impacto dos spreads no momento em que as decisões são acionadas. O grau de discrepância varia conforme a implementação.
A seleção de métricas pode distorcer conclusões
Escolher métricas de desempenho após ver os resultados pode mudar o que “sucesso” significa. Por exemplo, focar apenas em uma métrica pode ocultar comportamento instável ou desempenho desigual entre subperíodos.
Interpretar múltiplos sinais consistentes sobre estabilidade é frequentemente mais informativo do que confiar em um único número resumido.
Teste prospectivo vs avaliações relacionadas (comparação rápida)
O teste prospectivo é comumente contrastado com o backtesting.
- O backtesting avalia regras em dados passados, o que pode encorajar o sobreajuste se o ciclo de desenvolvimento não for controlado.
- O teste prospectivo avalia as regras já definidas em dados posteriores não vistos para verificar se o ajuste aparente do backtest generaliza.
De modo mais geral, qualquer avaliação que use informações futuras em relação à definição das regras (e as mantenha separadas) está alinhada com o mesmo princípio subjacente: reduzir o sobreajuste testando fora da amostra de desenvolvimento.
Verificações práticas para verificação independente (não consultivo)
Para tornar os resultados mais verificáveis de forma independente, um teste prospectivo geralmente precisa de transparência sobre a definição das regras, a divisão exata entre desenvolvimento e avaliação e as premissas usadas para a execução.
Elementos comuns que você pode revisar de forma independente incluem:
- Se o período de avaliação foi verdadeiramente excluído da criação e do ajuste das regras.
- Se as regras foram mantidas inalteradas durante a avaliação.
- Quais premissas foram usadas para custos de negociação e preenchimentos (se houver).
- Como os resultados são resumidos ao longo do tempo, não apenas como um único número.
Quando os resultados do teste prospectivo são mais informativos
O teste prospectivo é mais informativo quando é tratado como uma comparação controlada entre as mesmas regras fixas sob uma separação claramente definida de tempo ou dados. Também é mais informativo quando o teste evita a seleção repetida de resultados favoráveis (cherry-picking) entre muitas variantes.
Como ainda é uma amostra das condições de mercado, conclusões fortes devem ser declaradas com cautela: o teste prospectivo pode aumentar a confiança em relação ao backtesting, mas não pode remover a incerteza inerente dos mercados ao vivo.