Como o Índice de Úlcera pode ser testado retrospectivamente de forma responsável?

Defina o Índice de Úlcera antes de testá-lo

O Índice de Úlcera é uma estatística baseada em drawdown. Conceitualmente, ele resume o quão longe e por quanto tempo uma série de preços permanece abaixo de seu pico recente. Para backtesting, o ponto-chave não é o rótulo, mas a definição exata que você implementa: qual “pico” você referencia, com que frequência você amostra os dados, a janela ou o período usado, e como a série de drawdowns é convertida no número final.

Uma abordagem responsável começa por escrever o cálculo que você reproduzirá. Se você não puder declarar o procedimento completo com precisão, não poderá testá-lo de forma confiável. Trate o indicador como uma ferramenta de medição que produz um valor a partir de entradas, não como um sinal de negociação independente.

Separe a mecânica estável das condições variáveis

A precisão do backtesting frequentemente falha quando as pessoas misturam a mecânica do indicador com as condições variáveis de mercado e execução.

Mantenha estas preocupações distintas:

• Entradas do indicador: a série de preços usada para calcular os drawdowns, a frequência de reamostragem e a janela do Índice de Úlcera.
• Ambiente de backtest: premissas sobre quando os valores são “conhecidos” (timing), como as ordens são preenchidas e quais fricções se aplicam.
• Regra de decisão (se houver): como você transformaria as saídas do indicador em uma métrica de avaliação.

Mesmo que você não esteja construindo uma regra de negociação, ainda precisa definir um objetivo. Por exemplo, você pode avaliar se períodos com Índice de Úlcera mais alto coincidem com drawdowns maiores na série subjacente. Isso é uma verificação de relação, não uma previsão.

Declare as premissas para dados e custos

O backtesting responsável documenta premissas. As categorias comuns de premissas incluem:

1) Escopo e continuidade dos dados

• Use uma única série histórica consistente.
• Decida o que fazer em torno de dados ausentes e mudanças corporativas ou estruturais (para FX, isso se refere principalmente à continuidade dos dados e a como a série é construída).

2) Amostragem e timing

• Defina se você calcula o Índice de Úlcera no fechamento da barra, intrabar, ou usando alguma outra convenção.
• Garanta que seu “momento de decisão” não possa usar informações de depois do momento em que a decisão seria tomada.

3) Custos e fricções Se sua avaliação incluir qualquer ação tomada a partir do indicador, inclua fricções realistas na métrica de avaliação. Fricções materiais típicas são spreads, comissões e slippage. Mesmo que seu objetivo seja educacional em vez de focado em desempenho, incluir custos ajuda a evitar resultados que parecem fortes apenas porque os custos foram ignorados.

Controle o viés com verificações explícitas de falha

O viés é um modo importante de falha em backtests de indicadores. Inclua verificações que tentem especificamente quebrar o teste.

Viés de look-ahead Garanta que o valor do Índice de Úlcera usado no tempo t seja calculado apenas a partir de dados disponíveis até o tempo t. Um erro frequente é calcular usando o caminho de preço inteiro da barra quando a decisão só seria possível no fechamento da barra.

Viés de overfitting (testes múltiplos) Se você tentar muitas configurações de parâmetros (comprimentos de janela, limites, regras), pode acabar selecionando uma configuração que se ajusta ao ruído. Limite o espaço de busca ou separe a seleção de parâmetros da avaliação final.

Viés de seleção Evite avaliar apenas os períodos que “funcionaram” bem. Use períodos de avaliação predefinidos ou um procedimento walk-forward.

Uma maneira prática de fazer isso de forma responsável é criar uma lista de verificação do que pode dar errado (erros de timing, vazamento de parâmetros e omissão de custos) e verificar cada item antes de interpretar quaisquer resultados.

Use verificações fora da amostra para testar a robustez

Relações históricas não estabelecem resultados futuros. Para reduzir a chance de que suas descobertas sejam um artefato de um único período, avalie em dados não usados para a seleção de parâmetros.

Estruturas comuns e atemporais incluem:

• Divisões treino/validação/teste: escolha os parâmetros usando o treino e confirme apenas na validação, depois finalize no teste.
• Avaliação walk-forward (rolante): reestime repetidamente os parâmetros usando apenas dados anteriores e avalie em períodos posteriores.

Defina uma única métrica de desempenho para a avaliação. Por exemplo, se você está estudando apenas drawdowns, pode comparar a profundidade do drawdown realizado em relação aos níveis do Índice de Úlcera. Mantenha a métrica estável entre os experimentos.

Conheça pelo menos uma limitação material

Uma limitação clara é que o Índice de Úlcera comprime as informações de drawdown em um único número. Isso pode ocultar detalhes da distribuição. Dois períodos podem compartilhar valores semelhantes de Índice de Úlcera enquanto diferem na velocidade de recuperação, na volatilidade em torno dos picos ou no agrupamento de movimentos extremos.

Além disso, o comportamento do indicador pode variar de acordo com o regime de mercado. Se o seu backtest incluir apenas um regime (por exemplo, condições majoritariamente calmas), a relação pode não se manter quando as condições mudarem.