Resposta direta
As informações sobre overfitting podem ser verificadas checando se o aparente sucesso de um modelo em dados passados sobrevive a um procedimento de avaliação rigoroso e reproduzível. A verificação deve focar em três aspectos: a definição (o que é overfitting), a mecânica (como treinamento e teste são separados) e os modos de falha (como vazamento ou padrões instáveis podem criar resultados enganosos). Como dados de mercado, custos, execução e premissas podem variar, você deve tratar qualquer resultado único de backtest como insuficiente para verificação.
Mecanismo e definição
Overfitting acontece quando um método se ajusta tão bem às peculiaridades específicas de um conjunto de dados—incluindo ruído—que ele tem desempenho pior em dados novos do que nos dados em que foi treinado. Uma forma prática de expressar isso é:
- Se o desempenho melhora nos dados de treinamento, mas não nos dados que não foram usados para treinamento, essa incompatibilidade é consistente com overfitting.
- Se o desempenho depende fortemente de pequenas mudanças nas escolhas (features, hiperparâmetros, limiares), essa sensibilidade também é um sinal de alerta.
Na verificação, o ponto-chave é impor uma separação clara entre (1) dados usados para construir ou ajustar o método e (2) dados usados apenas para avaliá-lo. A avaliação deve ocorrer depois que o ajuste estiver fixado, não durante o processo de ajuste.
Evidências e etapas de verificação reproduzíveis
Use uma “hierarquia de fontes” reproduzível de níveis de verificação. Comece com verificações mais simples e progrida para as mais exigentes.
Nível 1: Comparação básica fora da amostra
- Divida seu conjunto de dados em uma parte de treinamento e uma parte de avaliação.
- Ajuste ou calibre o método usando apenas a parte de treinamento.
- Avalie uma única vez na parte de avaliação usando as configurações finais e fixadas.
- Registre tanto os resultados de treinamento quanto os de avaliação e compare a diferença.
Premissa: você está medindo o mesmo alvo e a mesma métrica de avaliação em ambos os lados, e o conjunto de avaliação não influenciou nenhuma escolha de design.
Nível 2: Avaliação repetida em múltiplas divisões
Para reduzir o risco de que uma única divisão crie um resultado enganoso:
- Crie várias divisões diferentes de treinamento/avaliação (por exemplo, múltiplas dobras).
- Para cada divisão, repita a sequência completa: calibre naquela divisão de treinamento e, em seguida, avalie naquela divisão de avaliação retida.
- Resuma a distribuição dos resultados de avaliação entre as divisões.
Limitação material: mesmo divisões repetidas podem deixar passar vazamento baseado no tempo se o método de divisão não respeitar a cronologia. Se os dados forem ordenados no tempo, as divisões devem preservar a ordem para que informações futuras não sejam usadas para avaliar o passado.
Nível 3: Teste estilo forward sob regras fixas
Uma abordagem mais rigorosa é simular uma avaliação prospectiva:
- Escolha uma janela de treinamento e calibre usando apenas essa janela.
- Avalie no período subsequente usando as configurações calibradas, sem alterações adicionais.
- Opcionalmente, avance a janela e repita.
Premissa: as regras de calibração são congeladas antes do início da avaliação. Isso ajuda a verificar se quaisquer relações “aprendidas” generalizam além do período exato de treinamento.
Nível 4: Verificações de modos de falha que comumente quebram a verificação
Pelo menos um modo de falha material deve ser testado explicitamente:
- Vazamento de dados: garanta que qualquer pré-processamento, engenharia de features, escalonamento ou seleção seja realizado usando apenas dados de treinamento para cada divisão.
- Testes múltiplos / busca repetida: se muitas variações forem tentadas e apenas o melhor resultado for relatado, a avaliação pode se tornar tendenciosa. A verificação deve rastrear todo o processo de busca, não apenas o vencedor final.
- Sensibilidade a escolhas: reexecute a verificação com variações razoáveis e pré-especificadas (por exemplo, hiperparâmetros ou conjuntos de features ligeiramente diferentes) e verifique se a avaliação permanece estável.
Limitações e riscos
Várias limitações significam que você pode verificar o comportamento de overfitting, mas ainda assim não prever resultados futuros com certeza:
- Relações históricas não estabelecem resultados futuros; o desempenho pode mudar quando o processo subjacente de geração de dados muda.
- Custos e efeitos de execução podem alterar os resultados realizados em relação à avaliação simplificada.
- Pequenas mudanças nas premissas (o que é medido, como os dados são divididos, como o pré-processamento é tratado) podem mudar as conclusões.
Trate a verificação de overfitting como uma forma de avaliar o risco de generalização, não como uma garantia de bom desempenho futuro.
Verificação ou próxima pergunta
Se você quiser verificar uma afirmação específica sobre overfitting, reescreva-a em declarações testáveis, como: “O desempenho no treinamento é consistentemente maior do que o desempenho fora da amostra”, ou “Os resultados da avaliação são instáveis entre as divisões.” Em seguida, aplique os Níveis 1–3 com pré-processamento resistente a vazamento e regras de calibração fixas.