O que Significa Teste Prospectivo (em termos simples)
O teste prospectivo é uma forma de avaliar uma abordagem de negociação em dados que vêm depois dos dados usados para construí-la ou fazer o backtesting. O objetivo é ver se a mesma ideia ainda se comporta de maneira razoável quando as condições diferem do período histórico com o qual você começou.
Em um contexto de iniciante, a ideia-chave é a separação: você não quer reutilizar os mesmos dados tanto para “desenvolver a abordagem” quanto para “verificar se ela funciona”. Quando você faz isso, é mais fácil criar acidentalmente uma estratégia que corresponde a peculiaridades do conjunto de dados original, em vez de um processo repetível.
Uma forma útil de pensar sobre isso: o backtesting explora e molda; o teste prospectivo tenta uma verificação fora da amostra. Nenhuma das etapas pode provar lucratividade, mas juntas elas fornecem evidências mais fortes do que o backtesting sozinho.
Como Funciona o Teste Prospectivo: entradas, premissas e procedimento
O teste prospectivo é tão confiável quanto as premissas que você carrega do backtest para o período prospectivo. No mínimo, você precisa decidir quais dados e quais regras está realmente avaliando.
- Defina o “experimento” claramente
- Quais regras exatas geram entradas, saídas e qualquer dimensionamento de posição?
- Quais períodos de tempo são usados para sinais e execução?
- As decisões são tomadas uma vez por candle, continuamente ou com regras de tempo específicas?
-
Mantenha os mesmos parâmetros sem reajustá-los O teste prospectivo tem a finalidade de testar a abordagem como ela está. Se você continuar ajustando parâmetros com base nos primeiros resultados prospectivos, reintroduz o viés de seleção.
-
Use fricções de mercado realistas em suas premissas Mesmo sem dados ao vivo, o teste prospectivo deve incorporar premissas razoáveis sobre custos de negociação e comportamento de execução (por exemplo, spreads, comissões, slippage e lógica de preenchimento de ordens). Se o seu ambiente de teste prospectivo omitir esses elementos que ocorreriam na prática, os resultados podem ser enganosos.
-
Documente a medição Escolha métricas que reflitam tanto o retorno quanto a estabilidade (por exemplo, comportamento de drawdown, variabilidade dos resultados e como o desempenho muda em múltiplos segmentos prospectivos). Especifique como você as calcula para que outros possam replicar seu método de avaliação.
Situações realistas a ter em mente: você pode executar testes prospectivos em várias janelas de tempo posteriores (ou usar uma abordagem contínua) para ver se o desempenho depende fortemente de um regime de mercado estreito.
Evidências e Exemplo (com premissas explícitas)
Considere um fluxo de trabalho simplificado que você pode descrever e reproduzir:
- Premissa A: Você desenvolveu um conjunto de regras usando dados históricos do Período 1.
- Premissa B: Você não modificou os parâmetros após passar para a janela prospectiva.
- Premissa C: Você aplica premissas fixas de custos de transação (por exemplo, um custo constante por negociação) e um modelo de execução consistente.
Agora você avalia o mesmo conjunto de regras no Período 2 (a janela prospectiva) e registra as métricas escolhidas. A evidência que você procura não é “altos lucros”, mas se os resultados são dramaticamente diferentes do que você observou anteriormente.
Um sinal material de robustez fraca é quando os resultados parecem aceitáveis no Período 1, mas se tornam consistentemente ruins no Período 2 sob as mesmas premissas. Outro sinal é quando os resultados oscilam drasticamente quando você muda ligeiramente a janela prospectiva, indicando sensibilidade às condições em vez de um processo estável.
Limitações e Modos de Falha (por que os resultados podem decepcionar)
O teste prospectivo reduz alguns riscos—especialmente o sobreajuste—mas introduz suas próprias limitações.
-
Mudanças de regime de mercado As relações que existiam no período de desenvolvimento podem não se manter posteriormente. O teste prospectivo ainda pode falhar se o novo período representar um regime em que a abordagem inerentemente se comporta de forma diferente.
-
Viés oculto por “incompatibilidade de premissas” Se suas premissas de custo ou execução diferirem das condições reais de negociação, os resultados do teste prospectivo podem ser sistematicamente imprecisos. Isso pode acontecer mesmo quando as regras da estratégia permanecem inalteradas.
-
Qualidade dos dados e problemas de sobrevivência Erros de dados, valores ausentes ou feeds de dados em mudança podem distorcer os resultados. Nesses casos, o teste prospectivo mede o ambiente de dados mais do que a vantagem da estratégia.
-
Efeitos de amostra pequena Se a janela prospectiva incluir poucas negociações, o desempenho medido pode ser dominado pela aleatoriedade. Duas janelas prospectivas diferentes podem ser ambas válidas, mas mostrar resultados muito diferentes.
-
Reotimização acidental Se você escolher a janela prospectiva, as métricas ou os parâmetros depois de ver os resultados, a avaliação pode se tornar tendenciosa. O período prospectivo deve ser tratado como um conjunto de teste bloqueado.