Quais são as limitações do Processo de Revisão?

O que “processo de revisão” significa (mecânica)

Um processo de revisão é uma forma estruturada de olhar para trás, para as decisões e seus resultados, a fim de aprender o que manter, mudar ou testar em seguida. Na prática, normalmente envolve: (1) escolher o que conta como uma decisão, (2) coletar as informações relevantes usadas na época, (3) comparar os resultados planejados vs. reais e (4) registrar as lições em um formato repetível.

Para avaliá-lo com precisão, você precisa de definições estáveis. Por exemplo, especifique o que você quer dizer com “resultado” (resultado líquido após custos, ou movimento bruto), qual janela de tempo você revisa e quais entradas estão incluídas. Sem essas escolhas, a revisão pode parecer precisa enquanto, na verdade, mede coisas diferentes a cada vez.

Evidências e exemplo: onde as conclusões da revisão falham

Considere um fluxo de trabalho de revisão simples que rotula cada resultado como “bom” se for positivo em um gráfico e “ruim” se for negativo. Isso pode falhar porque o sinal de um resultado não é o mesmo que o resultado que você experimentou.

Mesmo sem usar dados em tempo real, a limitação é clara: a revisão pode ignorar condições variáveis, como diferentes spreads, slippage, comissões ou timing de execução. Se os dados históricos que você usou assumiram um conjunto de custos e o ambiente ao vivo teve outro, as comparações da sua revisão misturam alhos com bugalhos.

Outro modo de falha é o viés de sobrevivência no que você escolhe revisar. Se você revisa apenas decisões que são fáceis de explicar depois do fato, o processo superestima a frequência com que seu raciocínio funciona.

Limitações e riscos: modos de falha, incerteza e condições em mudança

As principais limitações não são sobre se revisar ajuda no aprendizado; elas são sobre o que um processo de revisão pode concluir de forma confiável.

1. Nenhum dado de mercado em tempo real é assumido, então a relevância futura é incerta. Uma revisão é baseada no que aconteceu no passado. O próximo período pode diferir materialmente em volatilidade, liquidez e comportamento de correlação.

2. Os resultados variam com custos, execução e jurisdição. A mesma intenção subjacente pode produzir resultados realizados diferentes quando custos, qualidade de execução de ordens ou regras aplicáveis diferem entre tempos e lugares.

3. Relações históricas não estabelecem resultados futuros. Mesmo quando uma revisão encontra um padrão em resultados passados, isso não prova que condições semelhantes ocorrerão novamente.

4. Entradas inconsistentes prejudicam a medição. Se você muda definições (por exemplo, às vezes contando taxas e às vezes não), ou se captura decisões com diferentes níveis de detalhe, então a “melhoria” pode ser um artefato.

5. Sobreajuste a uma amostra limitada. Quando o número de decisões revisadas é pequeno, o processo pode confundir variação aleatória com uma lição estável.

Como verificar os resultados da revisão (e o que perguntar em seguida)

Para verificar de forma independente o que um processo de revisão está lhe dizendo, concentre-se nas partes que você pode medir de forma consistente. Declare suposições explícitas: o que conta como “decisão”, quais custos estão incluídos e se a comparação usa as mesmas regras a cada vez.

Em seguida, faça estas perguntas de verificação:

• As mesmas definições são aplicadas em todos os casos revisados?
• A revisão separa o efeito do movimento do mercado do efeito da execução e dos custos?
• Se você repetir a revisão em uma janela de tempo diferente, as conclusões permanecem consistentes em direção e magnitude?
• O tamanho da amostra e os critérios de seleção estão documentados para que você possa avaliar o risco de viés?

Se essas verificações não puderem ser feitas, a interpretação mais segura é que o processo de revisão fornece sinais de aprendizado sobre seu fluxo de trabalho passado, não previsões confiáveis sobre resultados futuros.