Zaawansowane zagadnienia dotyczące R kwadrat (R²)

Co R kwadrat oznacza na poziomie zaawansowanym

R kwadrat, często zapisywane jako R², jest statystyką podsumowującą, która porównuje, jak dobrze wybrany model odtwarza zmienność w zbiorze zaobserwowanych wartości. W najprostszej (i najczęstszej) interpretacji R² odpowiada na pytanie: „Jaka część zaobserwowanej zmienności jest wyjaśniona przez model w porównaniu z bazą odniesienia, która nie wykorzystuje zmiennych objaśniających modelu?”

To znaczenie jest stabilne, ale wiele praktycznych szczegółów już nie. „Zaawansowane zagadnienia” skupiają się zatem mniej na zapamiętywaniu wzoru, a bardziej na potwierdzeniu tego, co faktycznie mierzysz: użytej definicji, bazy odniesienia użytej do porównania, sposobu skonstruowania zmiennej docelowej oraz tego, czy oceniasz na tych samych danych, których użył model (w próbie), czy na nowych danych (poza próbą).

Jak R kwadrat działa w prostym, weryfikowalnym modelu

Standardowym punktem wyjścia jest model, który przewiduje zmienną docelową Y na podstawie zmiennych wejściowych X, stosując regresję liniową z wyrazem wolnym. W tym znanym ustawieniu R² można wyrazić za pomocą wariancji (lub sumy kwadratów) błędów resztowych w porównaniu z całkowitą zmiennością wokół średniej.

Weryfikowalny widok modelu to:

1. Wybierz serię docelową Y (rzecz, którą chcesz wyjaśnić).
2. Wybierz model, który generuje dopasowane wartości Ŷ.
3. Oblicz reszty e = Y − Ŷ.
4. Porównaj zmienność reszt z bazową zmiennością Y wokół jej średniej.

W przypadku regresji z wyrazem wolnym R² jest często ograniczone do przedziału od 0 do 1. Jednak zaawansowana praca wymaga uznania, że to ograniczenie może zawieść, gdy zmienią się założenia (na przykład, gdy zmienisz sposób definiowania bazy odniesienia) lub gdy obliczysz R² poza zwykłym kontekstem modelu.

Zależności, które musisz określić przed interpretacją R²

Aby niezależnie zinterpretować R², musisz być precyzyjny co do co najmniej tych zależności:

• Definicja celu: Czym dokładnie jest Y? W przypadku szeregów czasowych Y może być poziomem, różnicą, wielkością podobną do stopy zwrotu lub inną transformacją. Zmiana Y zmienia znaczenie „wyjaśnionej zmienności”.
• Forma modelu: R² zależy od odwzorowania z X do Ŷ. Inny model może dać inną dopasowaną krzywą, nawet jeśli użyjesz tych samych danych.
• Baza odniesienia i centrowanie: Wiele interpretacji R² opiera się na porównaniu z bazą odniesienia, która przewiduje średnią Y. Jeśli baza odniesienia jest inna, znaczenie się zmienia.
• Procedura dopasowania: Czy wybrałeś złożoność modelu, używając tego samego zbioru danych, dla którego raportujesz R²?
• Schemat oceny: R² w próbie odzwierciedla dopasowanie do danych treningowych; R² poza próbą odzwierciedla generalizację.

Dowody i przykłady: dlaczego wysokie R² może być mylące

Oto przykładowe rozumowanie (nie twierdzenie o żadnym żywym rynku), które ilustruje typową zaawansowaną pułapkę.

Załóżmy, że dopasowujesz model na tyle elastyczny, aby śledzić krótkoterminowe wahania. Jeśli ocenisz R² na tych samych danych, które posłużyły do dopasowania modelu, model może „wyjaśnić” dużą część zmienności, ucząc się wzorców specyficznych dla tego okresu.

Teraz wyobraź sobie, że oceniasz ten sam model na późniejszym okresie, w którym proces generujący dane się zmienia. Reszty mogą wzrosnąć, więc R² może spaść. To pokazuje, dlaczego zaawansowana interpretacja wymaga rozdzielenia:

• Dopasowania do danych historycznych (co R² może wskazywać, gdy jest obliczane w próbie) od
• Stabilności predykcyjnej lub wyjaśniającej (której R² nie gwarantuje).

Kolejny przypadek brzegowy: gdy zmienna docelowa zmienia swój charakter

Rozważ zmienną docelową Y, która ma epizody różnego zachowania (na przykład grupowanie zmienności, zmiany strukturalne lub zmiany reżimu). Nawet jeśli R² jest obliczone „poprawnie”, statystyka ta uśrednia wydajność w tych okresach.

Jeśli większość zmienności pochodzi z kilku segmentów, model może wydawać się wyjaśniać „większość” zmienności, po prostu dopasowując się do tych segmentów. W zaawansowanej praktyce należy sprawdzić, czy R² jest napędzane przez podzbiór okien czasowych, a nie odzwierciedla spójną siłę wyjaśniającą.

Istotne ograniczenia i tryby awarii

Zaawansowane zagadnienia są niekompletne bez wyraźnego wskazania trybów awarii—sytuacji, w których R² można obliczyć, ale staje się trudne do interpretacji.

1) Dane niestacjonarne lub zmieniające reżim

Jeśli statystyczna zależność między X i Y zmienia się w czasie, R² obliczone na historycznych oknach może nie odzwierciedlać bieżącego zachowania. Nie jest to wada arytmetyki; jest to ograniczenie stosowania statystyki podsumowującej w procesie niestacjonarnym.

2) Wyciek danych lub niewłaściwa ocena

Jeśli informacje z przyszłości (lub z celów, które nie powinny być znane w momencie prognozowania) wpływają na konstrukcję cech, wynikowe R² może być zawyżone. Ograniczenie polega na tym, że R² będzie wtedy mierzyć artefakt sposobu przygotowania danych, a nie rzeczywistą zależność wyjaśniającą modelu.

Praktyczny krok weryfikacyjny jest koncepcyjnie prosty: upewnij się, że każda wielkość użyta do obliczenia X w czasie t byłaby dostępna w czasie t, oraz że ocena jest przeprowadzana na danych nieużywanych do dopasowania lub selekcji.

3) Przeuczenie i selekcja modelu na tych samych danych

Gdy model jest elastyczny i wypróbowujesz wiele specyfikacji, raportowanie R² z tego samego zbioru danych zwykle zawyża wydajność. Zaawansowane zagadnienia obejmują zatem dyscyplinę oceny, taką jak oddzielenie okien treningowych od testowych oraz uwzględnienie faktu, że mogłeś zoptymalizować hiperparametry.

4) Niedopasowanie celu i celu modelu

R² dotyczy wyjaśniania wariancji przy określonej definicji wyjścia modelu. Jeśli Twój model jest trenowany pod kątem innego celu (na przykład straty klasyfikacyjnej zamiast dopasowania w stylu błędu średniokwadratowego), R² może nie odzwierciedlać tego, na czym Ci zależy.

5) Niewłaściwe skalowanie lub transformacje

Transformacje Y mogą zmienić znaczenie „zmienności”. Dwie wartości R² obliczone na różnych transformacjach zmiennej docelowej nie są bezpośrednio porównywalne, nawet jeśli użyto tych samych zmiennych wejściowych i modelu.

Weryfikacja: jak niezależnie sprawdzić obliczone R²

Aby niezależnie zweryfikować fakty dotyczące R² dla własnej konfiguracji, możesz użyć małego zestawu kontroli.

1. Potwierdź używaną definicję. Niektóre oprogramowania udostępniają warianty R² w zależności od tego, czy wyraz wolny jest uwzględniony, czy baza odniesienia jest zdefiniowana inaczej. 2) Przelicz z zapisanych wartości pośrednich (dopasowane Ŷ i reszty e), aby potwierdzić spójność z raportowanym R². 3) Oddziel w próbie od poza próbą. Oblicz R² w ścisłym schemacie oceny, w którym okres testowy nie jest używany do dopasowania lub selekcji cech. 4) Przeprowadź testy warunków skrajnych z wieloma rozmiarami okien. Jeśli wyniki drastycznie się zmieniają wraz z długością okna, ta niestabilność jest ważnym ograniczeniem. 5) Koncepcyjnie sprawdź zachowanie reszt.