Resposta direta
O processo de revisão é um método para examinar ações passadas, resultados e tomada de decisão para melhorar o trabalho futuro. Os principais riscos são operacionais (como a revisão é conduzida), relacionados ao mercado (como condições em mudança afetam os resultados), relacionados à contraparte (como provedores ou locais de execução se comportam) e relacionados à interpretação (como pessoas e sistemas leem as evidências).
Mecanismo e definição
Um processo de revisão normalmente recebe entradas como carimbos de data e hora das decisões, preços registrados, detalhes das ordens, resultados de execução e a justificativa ou regras que você diz ter seguido. Em seguida, ele compara o que aconteceu com as expectativas ou critérios predefinidos. Por fim, ele produz conclusões como “o que funcionou”, “o que não funcionou” e “o que mudar”.
Esse fluxo de trabalho cria várias superfícies de risco:
- Risco operacional: a revisão pode falhar se os dados estiverem incompletos, se os critérios mudarem ao longo do tempo ou se o processo não for aplicado de forma consistente.
- Risco de mercado: mesmo que sua mecânica esteja correta, os resultados podem mudar porque volatilidade, liquidez e custos de transação variam.
- Risco de contraparte: a qualidade da execução e a aplicação de políticas dependem da plataforma, do local e de quaisquer intermediários.
- Risco de interpretação: o mesmo conjunto de dados pode levar a conclusões diferentes com base em suposições e viés cognitivo.
Evidência ou exemplo (com suposições)
Suponha que você revise uma sequência de trades em duas semanas diferentes.
- A Semana A tem spreads mais apertados e oscilações intradiárias menores.
- A Semana B tem spreads mais amplos e movimentos de preço mais rápidos.
Se sua revisão se concentra no lucro/prejuízo bruto sem ajustar por custos e condições em mudança, sua conclusão pode refletir principalmente o ambiente de mercado, e não a qualidade das suas decisões. Isso é uma sobreposição de risco de mercado e risco de interpretação.
O risco operacional pode aparecer quando algumas ordens foram revisadas usando campos diferentes (por exemplo, usando preços enviados em vez dos preços efetivamente executados). Então, a “taxa de erro” que você calcula não é uma medição real de desempenho, porque mede escolhas de registro.
O risco de contraparte pode aparecer quando os resultados de execução diferem do que você esperava a partir do seu conjunto de dados histórico, como quando atrasos ou fills parciais alteram os resultados realizados. Mesmo com as mesmas regras de estratégia, os resultados podem ser diferentes.
Limitações e riscos a ter em mente
Pelo menos um modo de falha material é que o processo de revisão pode se tornar um ciclo de reforço próprio: você nota padrões apenas em subconjuntos que confirmam suas crenças, e descarta evidências contraditórias. Isso pode levar a overfitting—tratar variações aleatórias como um sinal repetível.
Outras limitações comuns incluem:
- Viés de confirmação: você pode atribuir mais peso a explicações que fazem a revisão “parecer” consistente.
- Viés de sobrevivência: se você só revisa os casos que concluíram normalmente, pode deixar de ver falhas.
- Padrões de avaliação inconsistentes: mudar o que conta como sucesso entre revisões reduz a comparabilidade.
- Sensibilidade a dados e custos: os resultados podem ser altamente sensíveis aos custos de transação, à qualidade da execução e às definições usadas no rastreamento.
Como os resultados variam com custos, execução e fatores jurisdicionais, relações históricas não estabelecem resultados futuros. Além disso, mesmo uma revisão bem conduzida não consegue remover a incerteza; ela só pode estruturar o que você testa e como você valida.
Verificação e próximas perguntas
Para verificar alegações sobre um processo de revisão, confira se o processo define entradas e saídas de forma clara, usa critérios consistentes ao longo do tempo e distingue resultados realizados de expectativas. Uma pergunta útil a seguir é: “Quais campos exatos e quais suposições são usados ao comparar resultados em diferentes condições de mercado?”
Você também pode perguntar se a revisão separa erros operacionais (registro de dados, aplicação de regras, eventos ausentes) de efeitos impulsionados pelo mercado (liquidez, volatilidade) e de efeitos impulsionados pela execução (qualidade do fill, timing). Essa separação é fundamental para reduzir tanto o risco de interpretação quanto o risco de contraparte.