O que o teste prospectivo significa (e o que não é)
O teste prospectivo é uma abordagem de validação em que você aplica o mesmo conjunto de regras usado em uma fase anterior (por exemplo, seleção de parâmetros) a dados que ocorrem posteriormente no tempo em relação aos dados usados para a configuração. O objetivo é verificar se os resultados persistem quando novas informações se tornam disponíveis.
Um mal-entendido comum é tratar o teste prospectivo como um mecanismo de previsão. Ele não garante desempenho futuro e não pode eliminar a incerteza. Em vez disso, reduz a chance de que os resultados sejam puramente devidos à sorte ou ao sobreajuste à janela de dados anterior.
Outro mal-entendido é misturar tarefas: usar o período prospectivo para ajustar parâmetros, melhorar regras após ver os resultados ou alterar suposições no meio do caminho. Qualquer uma dessas ações pode fazer o teste prospectivo parecer “bem-sucedido” por razões que não sejam o comportamento genuíno fora da amostra.
Erros comuns e por que eles importam
Um erro frequente é o vazamento de dados por design. Isso acontece quando o teste prospectivo usa inadvertidamente informações que não estariam disponíveis no momento da decisão (por exemplo, usar recursos calculados com barras futuras ou reutilizar conjuntos de dados de uma forma que misture linhas do tempo). Mesmo que a janela de avaliação seja “posterior”, o vazamento ainda pode criar uma curva de patrimônio irrealisticamente suave.
Um segundo erro é a separação fraca entre configuração e validação. Se o mesmo período for reutilizado repetidamente para refinar decisões, o sistema não está mais sendo testado fora da amostra. A consequência prática é que as métricas podem se tornar sensíveis à janela específica escolhida, em vez de refletir um método que generaliza.
Um terceiro erro é alterar as suposições de execução entre a avaliação semelhante ao backtesting e o teste prospectivo. O teste prospectivo pode ser avaliado como se a execução fosse sem atritos, enquanto a negociação real envolve custos de transação, spread de compra e venda e atrasos de execução. Mesmo pequenas diferenças em custos ou preenchimentos podem inverter a ordem das estratégias, especialmente quando a abordagem testada tem alvos de granularidade fina.
Um quarto erro são entradas não declaradas ou mutáveis. O teste prospectivo exige suposições claras para resolução de dados, tratamento de dados ausentes, alinhamento de fuso horário, lógica de dimensionamento de posição e regras para entradas/saídas. Se essas suposições diferirem entre a fase de configuração anterior e o teste prospectivo—ou se forem alteradas sem serem reexecutadas de forma consistente—a comparação resultante se torna difícil de interpretar.
Evidências e exemplos de modos de falha
Considere uma abordagem que seleciona parâmetros para maximizar o desempenho durante um intervalo histórico. Se o teste prospectivo então usar o intervalo prospectivo repetidamente para ajustar parâmetros após observar rebaixamentos, os resultados “prospectivos” refletem ajuste iterativo, não validação independente.
Outro modo de falha é a dependência de um único regime. Se a janela prospectiva coincidir com as condições de mercado em que o método funcionou anteriormente, o teste pode parecer convincente. Mas se o método for avaliado apenas em um regime de volatilidade ou tendência, ele pode falhar quando as condições mudarem.
Uma questão relacionada é a confusão de métricas. As pessoas podem focar em uma única métrica principal (como um número de retorno) enquanto ignoram a exposição ao risco, a concentração ou como os resultados são distribuídos ao longo do tempo. Para o teste prospectivo, é útil relatar múltiplos diagnósticos neutros—como comportamento de rebaixamento, distribuição de ganhos/perdas e estabilidade do desempenho em subperíodos.
Finalmente, há a sobrevivência silenciosa da qualidade dos dados. Se o teste prospectivo usar uma fonte de dados que difere do conjunto de dados anterior (por exemplo, definições de símbolos diferentes, cobertura histórica diferente ou construção de barras diferente), o método pode ser testado em um problema diferente do pretendido.
Limitações e riscos a ter em mente
O teste prospectivo reduz o risco de sobreajuste, mas não pode garantir correção. As relações de mercado não são estacionárias, e mesmo uma validação cuidadosa pode mostrar resultados que não persistem. Custos, qualidade de execução e liquidez podem mudar ao longo do tempo, então um teste prospectivo pode ser “preciso” em relação às suas suposições, mas ainda assim não refletir condições realistas.
Outra limitação é a interpretação estatística. Muitos resultados pequenos, positivos ou negativos, podem ocorrer por acaso, especialmente quando o número de negociações ou o período de tempo é limitado. Isso significa que um período prospectivo de aparência forte ainda pode ser compatível com uma generalização fraca.
Lista de verificação de verificação neutra e próxima pergunta
Para verificar alegações de teste prospectivo sem assumir resultados, verifique se cada um dos seguintes itens está claramente declarado e aplicado de forma consistente:
- Separação temporal: a configuração usa apenas dados anteriores; o teste prospectivo usa estritamente dados posteriores.