Comparação de Execução, em termos simples
Comparação de Execução é o processo de colocar duas (ou mais) abordagens ou provedores de execução lado a lado e avaliar como os resultados das ordens diferem. “Execução” geralmente se refere ao que acontece desde o envio da ordem até o resultado final preenchido, incluindo o timing e os preços nos quais os preenchimentos ocorrem. “Comparação” significa que o avaliador aplica a mesma estrutura de avaliação a cada opção, de modo que as diferenças sejam atribuíveis à abordagem de execução, e não a insumos incompatíveis.
Como os resultados de execução dependem de condições reais e detalhes de implementação, verificar informações de Comparação de Execução significa confirmar três coisas: (1) as definições e métricas, (2) os insumos e premissas usados para calcular essas métricas e (3) os limites onde a comparação não é válida.
Hierarquia de fontes para verificar alegações
Use uma hierarquia de fontes que distingue mecânicas estáveis de detalhes variáveis e específicos da entidade:
-
Definições primárias e estáveis (fontes gerais): verifique se os termos usados—como preço de preenchimento, slippage, latência de execução ou custo realizado—são definidos de forma consistente com como são realmente medidos. Isso geralmente é conhecimento educacional estável.
-
Documentação operacional (específica da entidade, mas verificável): quando uma comparação depende de como as ordens são roteadas, combinadas, liquidadas ou registradas, você precisa da documentação operacional ou técnica relevante da plataforma ou provedor. A verificação aqui se concentra no que foi medido, como os timestamps são gerados e quais estágios de execução são incluídos.
-
Divulgações de metodologia (evidência do autor da comparação): valide se a comparação especifica a janela de avaliação, os tipos e configurações de ordem, o método de amostragem (se houver) e as regras de cálculo para cada métrica.
-
Verificações cruzadas independentes: se as conclusões da comparação forem importantes, procure por corroboração de mais de uma perspectiva (por exemplo, diferentes conjuntos de dados, diferentes períodos de teste ou diferentes implementações de cálculo). Você está verificando se os mesmos padrões condicionais aparecem sob as mesmas premissas declaradas.
Etapas de verificação reproduzíveis (sem necessidade de dados ao vivo)
Uma maneira útil de verificar informações de Comparação de Execução é construir um “pacote de verificação” e tentar reproduzir os cálculos usando as regras declaradas da comparação.
-
Extraia as métricas e definições: liste cada métrica que o autor usa (por exemplo, diferença média no preço de preenchimento, distribuição de slippage ou spread realizado). Registre a definição exata e a unidade.
-
Registre as premissas e custos incluídos: verifique se o autor inclui ou exclui custos de transação, taxas ou outros encargos relacionados à execução. Se um exemplo for mostrado, confirme se ele declara as premissas explicitamente.
-
Fixe a janela de execução e as regras de timing: comparações frequentemente falham quando um lado mede a partir do envio da ordem enquanto outro mede a partir do recebimento da cotação ou de uma fonte de timestamp diferente. Garanta que ambas as opções usem os mesmos limites de timing.
-
Verifique a comparabilidade dos insumos de negociação: confirme se ambas as opções são testadas sob condições equivalentes: mesma direção de ordem, tamanho de ordem, tipo de ordem e restrições de execução conforme descrito pelo autor.
-
Reexecute os cálculos com as fórmulas do autor: se os registros brutos de preenchimento não forem fornecidos, você ainda pode verificar a aritmética usando quaisquer valores intermediários apresentados. Declare quaisquer premissas adicionais que você precise adicionar e, em seguida, teste se mudanças nessas premissas alteram materialmente o resultado.
-
Verifique dados ausentes e efeitos de seleção: observe se a comparação inclui apenas negociações concluídas, apenas certos regimes de mercado ou exclui outliers de uma forma que mude o significado das métricas.
Limitações e modos comuns de falha
A Comparação de Execução é frequentemente mal compreendida porque as diferenças podem refletir escolhas de medição em vez de qualidade de execução. Limitações materiais incluem:
- Resultados condicionais ao mercado: os resultados mudam com volatilidade, liquidez e condições de spread. Relações históricas não garantem comportamento futuro.
- Incompatibilidade de métricas: dois relatórios podem usar o mesmo rótulo (por exemplo, “slippage”) mas defini-lo de forma diferente (escolha do preço de referência, timestamp ou convenção de sinal).
- Timing incomparável: fontes de timestamp inconsistentes ou definições de estágio de execução podem fazer uma opção parecer melhor simplesmente devido a como os eventos são registrados.
- Tratamento de custos e taxas: excluir custos pode exagerar diferenças aparentes; incluir custos sem clareza pode esconder o que impulsiona a diferença.
- Cobertura de dados: preenchimentos ausentes, execuções parciais ou regras de sobrevivência/seleção podem distorcer comparações.
Trate qualquer conclusão de comparação única como condicional à metodologia descrita. A verificação deve se concentrar em se a metodologia é internamente consistente e se especifica as condições onde a comparação se aplica ou não.