Resposta direta
As informações sobre estatísticas de desempenho podem ser verificadas (1) esclarecendo a definição de cada métrica, (2) confirmando as entradas e a janela de tempo, (3) reproduzindo os cálculos a partir dos dados brutos quando disponíveis e (4) testando como os resultados mudam quando você inclui custos, taxas ou premissas alternativas. Os resultados históricos podem ser verificados quanto à consistência interna, mas não estabelecem automaticamente resultados futuros.
Mecanismo e definição
“Estatísticas de desempenho” são números-resumo que tentam descrever como uma atividade se saiu durante um período. Exemplos incluem retornos ao longo do tempo, medidas de volatilidade, medidas de rebaixamento (drawdown) e índices ajustados ao risco. A verificação começa com definições:
- Identifique a fórmula da métrica (como ela é calculada), não apenas o rótulo.
- Identifique o escopo: o período exato, a fonte de dados e se os resultados são líquidos ou brutos de custos.
- Identifique a base: se os cálculos usam variações de preço, resultados de negociações executadas ou patrimônio da conta relatado.
Mecânicas estáveis são as partes que não dependem do caminho futuro do mercado. Condições variáveis incluem regime de mercado, qualidade de execução, latência, tipos de ordens e custos como spreads, comissões e financiamento. Quando alguém relata estatísticas de desempenho, está implicitamente combinando tanto mecânicas de cálculo estáveis quanto condições variáveis.
Para verificar, liste as premissas que você deve aceitar antes que qualquer número possa ser confiável—por exemplo, o que conta como “mês”, se fins de semana ou feriados estão incluídos e como os fluxos de caixa (depósitos/retiradas) foram tratados.
Evidências e verificações reproduzíveis
Um fluxo de trabalho de verificação reproduzível pode ser realizado sem dados em tempo real:
- Confirme a janela de tempo e a granularidade: registre as datas de início/término e a frequência de amostragem usada para os retornos (diária, semanal, mensal).
- Recalcule um pequeno conjunto de valores: escolha uma métrica e um segmento curto. Use a fórmula declarada e a série temporal fornecida, se disponível.
- Verifique o tratamento líquido-vs-bruto: confirme se as estatísticas relatadas consideram os custos. Se o conjunto de dados não incluir custos, repita o cálculo sob uma premissa de “sem custos” e observe o que muda quando os custos são introduzidos.
- Valide a consistência interna: garanta que as medidas de rebaixamento estejam alinhadas com o caminho de retorno relatado e que as medidas de risco derivadas dos retornos correspondam à mesma série de retornos.
- Execute testes de sensibilidade: altere apenas uma premissa por vez, como o tratamento de fusos horários ou a inclusão de dividendos/financiamento, e observe se a classificação ou as conclusões mudam.
Se as entradas brutas não estiverem disponíveis, você ainda pode verificar propriedades limitadas: se os números são calculados a partir de unidades consistentes, se correspondem à janela de tempo declarada e se múltiplas métricas relatadas correspondem à mesma série de retornos subjacente.
Limitações e riscos (modos de falha materiais)
Vários modos de falha podem tornar as estatísticas de desempenho enganosas, mesmo quando os cálculos estão aritmeticamente corretos:
- Custos ausentes: as estatísticas podem excluir spreads, comissões ou financiamento, superestimando o desempenho líquido.
- Janelas de relatório inconsistentes: alterar as datas de início ou filtrar períodos difíceis pode inflar os resultados.
- Viés de sobrevivência e seleção: apenas os desempenhos bem-sucedidos podem ser exibidos, ocultando como os casos típicos se comportam.
- Problemas de ajuste de patrimônio: depósitos e retiradas podem distorcer os cálculos de retorno se não forem tratados corretamente.
- Não-preditividade histórica: relações históricas não garantem resultados futuros; as condições de mercado e a execução podem mudar.
Como os resultados variam com as condições de mercado, custos, execução e jurisdição, trate a verificação como uma forma de confirmar a consistência interna e as premissas, não como prova de desempenho futuro.
Lista de verificação de verificação e próxima pergunta a responder
Antes de usar qualquer estatística de desempenho, confirme estes pontos:
- Quais definições e fórmulas exatas de métricas foram usadas?
- Quais entradas foram usadas (série de retornos ou série de patrimônio) e elas eram líquidas de custos?
- Qual janela de tempo e frequência de amostragem foram usadas?
- Você consegue reproduzir pelo menos uma métrica a partir das mesmas entradas com premissas explícitas?
- Quais limitações podem alterar materialmente a interpretação (custos, viés, tratamento de fluxo de caixa)?
Uma próxima pergunta útil é: Quais premissas devem ser verdadeiras para que as estatísticas relatadas sejam comparáveis a outras estatísticas relatadas? Se você não puder responder a isso com precisão, os números podem não ser significativamente comparáveis.