O que “processo de revisão” significa (mecânica)
Um processo de revisão é uma forma estruturada de olhar para trás nas decisões e seus resultados para aprender o que manter, mudar ou testar em seguida. Na prática, ele normalmente envolve: (1) escolher o que conta como uma decisão, (2) coletar as informações relevantes usadas na época, (3) comparar resultados planejados vs. resultados reais e (4) registrar lições em um formato que possa ser repetido.
Para avaliá-lo com precisão, você precisa de definições estáveis. Por exemplo, especifique o que você quer dizer com “resultado” (resultado líquido após custos, ou movimento bruto), qual janela de tempo você revisa e quais entradas estão incluídas. Sem essas escolhas, a revisão pode parecer precisa enquanto, na verdade, mede coisas diferentes a cada vez.
Evidência e exemplo: onde as conclusões da revisão falham
Considere um fluxo de trabalho simples de revisão que rotula cada resultado como “bom” se foi positivo em um gráfico e “ruim” se foi negativo. Isso pode falhar porque o sinal de um resultado não é o mesmo que o resultado que você vivenciou.
Mesmo sem usar dados em tempo real, a limitação é clara: a revisão pode ignorar condições variáveis como spreads diferentes, slippage, comissões ou o timing da execução. Se os dados históricos que você usou assumiram um conjunto de custos e o ambiente ao vivo tinha outro, as comparações da sua revisão misturam maçãs e laranjas.
Outro modo de falha é o viés de sobrevivência naquilo que você escolhe revisar. Se você revisa apenas decisões que são fáceis de explicar depois do fato, o processo superestima com que frequência seu raciocínio funciona.
Limitações e riscos: modos de falha, incerteza e condições em mudança
As principais limitações não são sobre se revisar ajuda na aprendizagem; elas são sobre o que um processo de revisão pode concluir de forma confiável.
-
Não se assume dados reais de mercado em tempo real, então a relevância futura é incerta. Uma revisão se baseia no que aconteceu no passado. O próximo período pode diferir de forma material em volatilidade, liquidez e comportamento de correlação.
-
Os resultados variam com custos, execução e jurisdição. A mesma intenção subjacente pode produzir resultados realizados diferentes quando custos, qualidade da execução de ordens ou regras aplicáveis diferem entre tempos e lugares.
-
Relações históricas não estabelecem resultados futuros. Mesmo quando uma revisão encontra um padrão em resultados passados, isso não prova que condições semelhantes vão se repetir.
-
Entradas inconsistentes prejudicam a medição. Se você altera definições (por exemplo, às vezes contando taxas e às vezes não), ou se captura decisões com níveis diferentes de detalhe, então “melhoria” pode ser um artefato.
-
Ajuste excessivo a uma amostra limitada. Quando o número de decisões revisadas é pequeno, o processo pode confundir variação aleatória com uma lição estável.
Como verificar os achados da revisão (e o que perguntar em seguida)
Para verificar de forma independente o que um processo de revisão está lhe dizendo, foque nas partes que você consegue medir de maneira consistente. Declare suposições explícitas: o que conta como “decisão”, quais custos estão incluídos e se a comparação usa as mesmas regras todas as vezes.
Então, faça estas perguntas de verificação:
- As mesmas definições são aplicadas em todos os casos revisados?
- A revisão separa o efeito do movimento do mercado do efeito da execução e dos custos?
- Se você repetir a revisão em uma janela de tempo diferente, as conclusões permanecem consistentes quanto à direção e à magnitude?
- O tamanho da amostra e os critérios de seleção são documentados para que você possa avaliar o risco de viés?
Se essas verificações não puderem ser feitas, a interpretação mais segura é que o processo de revisão fornece sinais de aprendizagem sobre seu fluxo de trabalho passado, e não previsões confiáveis sobre resultados futuros.
DOCUMENT END