Jakie dane są potrzebne do oceny R kwadrat?

Zdefiniuj R kwadrat przed zebraniem danych

R kwadrat (często zapisywane jako R²) to liczba podsumowująca, która porównuje, jak dobrze przewidywania modelu odpowiadają zaobserwowanym wynikom. Zwykła idea jest taka: jaka część zmienności zaobserwowanej zmiennej zależnej jest wyjaśniana przez model w porównaniu z bazą odniesienia, która przewiduje coś w rodzaju średniej.

Aby ocenić R kwadrat, musisz najpierw znać dokładną definicję, która jest używana (na przykład, czy jest obliczany z całkowitej sumy kwadratów i resztowej sumy kwadratów w standardowy sposób oraz czy używany jest wariant „skorygowany”). Różne implementacje mogą podawać różne liczby, nawet gdy podstawowe dane są podobne.

Dane wejściowe, których potrzebujesz

Co najmniej potrzebujesz wszystkich informacji niezbędnych do odtworzenia strony zależnej obliczenia.

1. Szereg zaobserwowanej zmiennej zależnej

• Obserwacje z indeksem czasowym, które tworzą wartości y.
• Częstotliwość próbkowania (np. co tick, co minutę, codziennie), w tym jednostki.
• Zasady wyrównania czasu (kiedy każda wartość y jest uważana za „odpowiadającą” predyktorom).

2. Wartości przewidywane lub dopasowany model Masz dwie opcje:

• Wartości przewidywane: przewidywane wartości y-hat modelu dla tych samych punktów czasowych, w tej samej kolejności.
• Lub dane wejściowe modelu potrzebne do wygenerowania y-hat: szereg predyktorów (wartości x), metoda estymacji oraz parametry uzyskane z dopasowania.

3. Baza odniesienia używana w mianowniku Większość wzorów R² używa bazy odniesienia, która odzwierciedla zmienność wokół średniej zaobserwowanej zmiennej zależnej. Aby poprawnie ocenić R², musisz wiedzieć, jaka baza odniesienia jest używana i czy średnia jest obliczana na tym samym podziale zbioru danych co reszty.

Weryfikacja pochodzenia i przetwarzania wstępnego

R² to nie tylko wzór; zależy od tego, co zostało użyte do utworzenia szeregów.

Sprawdź i udokumentuj:

• Pochodzenie danych: skąd pochodzą dane (źródło lub kanał) i w jaki sposób zostały uzyskane.
• Zasady filtrowania danych: czy obserwacje zostały usunięte z powodu błędów, świąt, wartości odstających lub niskiej płynności.
• Obsługa brakujących wartości: czy luki zostały usunięte, wypełnione w przód, interpolowane lub w inny sposób potraktowane.
• Transformacje: czy zastosowano skalowanie, transformacje logarytmiczne, różnicowanie lub normalizację oraz czy były one spójne w okresach treningowych i ewaluacyjnych.

Istotne ryzyko: jeśli x i y są przetwarzane wstępnie w różny sposób lub jeśli znaczniki czasu są nieprawidłowo wyrównane, R² może wyglądać na wyższy lub niższy z powodów niezwiązanych z rzeczywistą siłą wyjaśniającą.

Aktualność i założenia dotyczące podziału

Aby ocenić, czy wartość R² jest znacząca, musisz wiedzieć, jak wykorzystano czas.

Powinieneś udokumentować:

• Czy R² został obliczony na tych samych danych, które posłużyły do dopasowania modelu, czy na danych wstrzymanych.
• Konkretne okno czasowe użyte do dopasowania w porównaniu z ewaluacją.
• Czy zastosowano podejście kroczące czy rozszerzające się okno (podejście zmienia znaczenie raportowanego wyniku).

Częstym błędem jest traktowanie R² w próbie tak, jakby opisywał przyszłe zależności. Historyczne zależności mogą się zmieniać, gdy zmienia się zachowanie rynku, więc ta sama metoda może dać inny R² na późniejszych danych.

Dowody lub przykład: co możesz zweryfikować niezależnie

Niezależna lista kontrolna weryfikacji powinna obejmować:

• Potwierdź dokładny szereg y użyty (znaczniki czasu, jednostki i filtrowanie).
• Potwierdź, czy raportowana wartość wykorzystała przewidywania y-hat, czy też przeliczone przewidywania z zapisanych parametrów modelu.
• Potwierdź dokładną definicję R² (i czy użyto skorygowanego R²).
• Przelicz R² z podanych liczb (y, y-hat, reszty) przy użyciu podanego wzoru i tego samego podziału zbioru danych.

Jeśli którakolwiek z tych informacji brakuje, raportowany R² nie może być w pełni poddany audytowi, ponieważ wiele szczegółów implementacji zmienia wynik.

Ograniczenia i ryzyka (istotne tryby awarii)

Co najmniej jedno ograniczenie, na które należy uważać:

• Zależność od modelu: R² odzwierciedla dopasowanie przy określonej formie modelu. Jeśli zależność jest nieliniowa lub zmienia się w czasie, ten sam R² może być mylący.

Inne ważne ograniczenia:

• Niestacjonarność: jeśli proces generujący dane ewoluuje, wysoki R² w jednym okresie może nie utrzymać się później.
• Przeuczenie: jeśli model jest zbyt elastyczny, może dopasować się do szumu, zawyżając R² w próbie.
• Wrażliwość na szum i rzadkie zdarzenia: zaszumione pomiary mogą powodować niestabilny R² w różnych oknach czasowych.
• Mylące porównania: wartości R² mogą być trudne do porównania między modelami, jeśli różnią się przetwarzanie wstępne, zestawy cech lub podziały ewaluacyjne.