Considerações avançadas para o R Quadrado (R²)

O que o R Quadrado significa em um nível avançado

O R Quadrado, frequentemente escrito como R², é uma estatística resumida que compara o quão bem um modelo escolhido reproduz a variação em um conjunto de valores observados. Na interpretação mais simples (e mais comum), o R² responde: “Quanto da variação observada é explicada pelo modelo em relação a uma linha de base que não usa as variáveis explicativas do modelo?”

Esse significado é estável, mas muitos detalhes práticos não são. As “considerações avançadas” portanto focam menos em memorizar a fórmula e mais em confirmar o que você está realmente medindo: a definição usada, a linha de base usada para comparação, a forma como a variável alvo é construída e se você está avaliando nos mesmos dados que o modelo usou (dentro da amostra) ou em dados novos (fora da amostra).

Como o R Quadrado funciona em um modelo simples e verificável

Um ponto de partida padrão é um modelo que prevê um alvo Y a partir de entradas X, usando uma regressão linear com intercepto. Nessa configuração familiar, o R² pode ser expresso em termos da variância (ou soma dos quadrados) dos erros residuais comparada com a variação total em torno da média.

Uma visão de modelo verificável é:

1. Escolha uma série alvo Y (a coisa que você quer explicar).
2. Escolha um modelo que produza valores ajustados Ŷ.
3. Calcule os resíduos e = Y − Ŷ.
4. Compare a variabilidade residual com a variabilidade de linha de base de Y em torno de sua média.

No caso de regressão com intercepto incluído, o R² é frequentemente restrito entre 0 e 1. No entanto, o trabalho avançado exige reconhecer que essa restrição pode falhar quando as premissas mudam (por exemplo, quando você muda como a linha de base é definida) ou quando você calcula o R² fora do contexto usual do modelo.

Dependências que você deve declarar antes de interpretar o R²

Para interpretar o R² de forma independente, você precisa ser explícito sobre pelo menos estas dependências:

• Definição do alvo: O que exatamente é Y? Para séries temporais, Y pode ser um nível, uma diferença, uma quantidade semelhante a retorno ou outra transformação. Mudar Y muda o significado de “variação explicada”.
• Forma do modelo: O R² depende do mapeamento das entradas para Ŷ. Um modelo diferente pode produzir uma curva ajustada diferente, mesmo se você reutilizar os mesmos dados.
• Linha de base e centralização: Muitas interpretações do R² dependem da comparação com uma linha de base que prevê a média de Y. Se a linha de base diferir, o significado muda.
• Procedimento de ajuste: Você selecionou a complexidade do modelo usando o mesmo conjunto de dados no qual você reporta o R²?
• Esquema de avaliação: O R² dentro da amostra reflete o ajuste aos dados de treinamento; o R² fora da amostra reflete a generalização.

Evidências e exemplos: por que um R² alto pode ser enganoso

Aqui está um raciocínio em formato de exemplo (não uma afirmação sobre qualquer mercado ao vivo) que ilustra uma armadilha avançada comum.

Suponha que você ajuste um modelo flexível o suficiente para acompanhar flutuações de curto prazo. Se você avaliar o R² nos mesmos dados usados para ajustar o modelo, o modelo pode “explicar” uma grande parte da variação ao aprender padrões específicos daquele período.

Agora imagine que você avalie o mesmo modelo em um período posterior onde o processo gerador de dados muda. Os resíduos podem aumentar, então o R² pode cair. Isso mostra por que a interpretação avançada exige separar:

• Qualidade do ajuste aos dados históricos (o que o R² pode indicar quando calculado dentro da amostra) de
• Estabilidade preditiva ou explicativa (que o R² não garante).

Outro caso extremo: quando o alvo muda seu caráter

Considere um alvo Y que tem episódios de comportamento diferente (por exemplo, agrupamento de volatilidade, mudanças estruturais ou mudanças de regime). Mesmo que o R² seja calculado “corretamente”, a estatística calcula a média do desempenho nesses períodos.

Se a maior parte da variação vem de alguns segmentos, um modelo pode parecer explicar a “maior parte” da variação simplesmente por corresponder a esses segmentos. Na prática avançada, você deve verificar se o R² é impulsionado por um subconjunto de janelas de tempo em vez de refletir poder explicativo consistente.

Limitações materiais e modos de falha

As considerações avançadas são incompletas sem modos de falha explícitos—situações onde o R² pode ser calculado, mas se torna difícil de interpretar.

1) Dados não estacionários ou com mudança de regime

Se a relação estatística entre X e Y muda ao longo do tempo, o R² calculado em janelas históricas pode não refletir o comportamento atual. Isso não é uma falha na aritmética; é uma limitação de usar uma estatística resumida em um processo não estacionário.

2) Vazamento de dados ou avaliação imprópria

Se informações do futuro (ou de alvos que não deveriam ser conhecidos no momento da previsão) influenciam a construção de características, o R² resultante pode ser inflado. A limitação é que o R² então medirá um artefato de como os dados foram preparados, em vez da relação explicativa real do modelo.

Uma etapa de verificação prática é conceitualmente simples: garanta que toda quantidade usada para calcular X no tempo t estaria disponível no tempo t, e garanta que a avaliação seja feita em dados não usados para ajuste ou seleção.

3) Sobreajuste e seleção de modelo nos mesmos dados

Quando o modelo é flexível e você tenta múltiplas especificações, reportar o R² do mesmo conjunto de dados tende a superestimar o desempenho. As considerações avançadas portanto incluem disciplina de avaliação, como separar janelas de treinamento e teste, e levar em conta o fato de que você pode ter otimizado hiperparâmetros.

4) Alvo e objetivo do modelo desalinhados

O R² trata de explicar a variância sob uma definição específica de saída do modelo. Se o seu modelo é treinado para otimizar um objetivo diferente (por exemplo, perda de classificação em vez de um ajuste no estilo de erro quadrático), o R² pode não refletir o que você realmente se importa.

5) Escalonamento ou transformações inadequados

Transformações de Y podem mudar o que “variação” significa. Dois valores de R² calculados em transformações diferentes do alvo não são diretamente comparáveis, mesmo se você usou as mesmas entradas e o mesmo modelo.

Verificação: como verificar de forma independente o R² que você calcula

Para verificar de forma independente os fatos do R² para sua própria configuração, você pode usar um pequeno conjunto de verificações.

1. Confirme a definição que você está usando. Alguns softwares expõem variantes do R² dependendo se um intercepto é incluído ou se a linha de base de comparação é definida de forma diferente. 2) Recalcule a partir de valores intermediários armazenados (Ŷ ajustado e resíduos e) para confirmar a consistência com o R² reportado. 3) Separe dentro da amostra de fora da amostra. Calcule o R² em um esquema de avaliação estrito onde o período de teste não é usado no ajuste ou na seleção de características. 4) Faça testes de estresse com múltiplos tamanhos de janela. Se os resultados variarem drasticamente com o comprimento da janela, essa instabilidade é uma limitação importante. 5) Inspecione o comportamento residual conceitualmente.