Apa Kesalahan Umum dengan R Squared?
Jawaban langsung
Kesalahan umum dengan R Squared biasanya bukan kesalahan matematika. Kesalahan tersebut adalah kesalahan interpretasi dan verifikasi: memperlakukan R Squared sebagai jaminan prediksi, mencampuradukkan “kecocokan dengan data masa lalu” dengan “hasil masa depan yang andal,” menggunakannya tanpa memeriksa asumsi di balik perhitungan, dan mengabaikan bahwa nilainya dapat berubah dengan pilihan data, prapemrosesan, dan biaya.
Mekanisme: apa yang sebenarnya diukur oleh R Squared
R Squared (sering ditulis R²) adalah statistik yang menggambarkan seberapa banyak variasi dalam variabel dependen yang dijelaskan oleh variabel independen dalam sebuah model. Secara informal, ini adalah ukuran “kebaikan kecocokan”: R² yang lebih tinggi berarti keluaran model melacak data historis lebih dekat.
Dua detail yang sering terlewatkan:
- R² bergantung pada bentuk model spesifik dan data yang digunakan (observasi mana yang disertakan, dan bagaimana observasi tersebut direpresentasikan).
- Banyak nilai R² dihitung dengan asumsi bahwa pengaturan pemodelan sudah tepat (misalnya, bahwa hubungan yang diukur bermakna untuk variabel dan jendela waktu yang dipilih).
Mekanisme yang stabil untuk diingat adalah: R² adalah tentang kecocokan relatif terhadap model dasar. R² tidak, dengan sendirinya, memberi tahu Anda apakah kesalahan kecil dalam istilah absolut, apakah residual berperilaku baik, atau apakah hubungan akan bertahan di luar sampel.
Bukti atau contoh: di mana orang salah
Kesalahan 1: Mengacaukan “R² tinggi” dengan “peramalan yang kuat”
Kesalahpahaman klasik adalah menafsirkan R² yang tinggi sebagai bukti bahwa hasil masa depan akan dekat dengan model. Bahkan jika model menjelaskan sebagian besar varians historis, itu tidak menghilangkan ketidakpastian tentang varians masa depan, pergeseran rezim, atau perubahan struktural.
Pemeriksaan netral: bandingkan kinerja di luar sampel (atau periode penahanan apa pun) dengan metrik yang mencerminkan besarnya kesalahan, bukan hanya kecocokan.
Kesalahan 2: Mengabaikan keterbatasan material dalam pengaturan pengukuran
R² dapat berubah ketika Anda mengubah input atau prapemrosesan. Contohnya meliputi:
- Menggunakan jendela waktu yang berbeda (data awal vs. data akhir)
- Mengubah cara variabel diskalakan atau ditransformasikan
- Menyertakan atau mengecualikan observasi dengan perilaku yang tidak biasa
Pemeriksaan netral: hitung ulang R² pada beberapa pembagian yang masuk akal dan konfirmasikan apakah polanya konsisten.
Kesalahan 3: Melupakan bahwa R² tidak menggambarkan distribusi kesalahan
Dua model dapat memiliki R² yang serupa sambil menghasilkan pola residual yang sangat berbeda. Misalnya, kesalahan mungkin kecil sebagian besar waktu dan sangat besar selama periode tertentu. Satu angka R² menyembunyikan hal itu.
Pemeriksaan netral: periksa residual dan pertimbangkan apakah kesalahan stabil dari waktu ke waktu dan di seluruh rentang nilai.
Keterbatasan dan risiko
Mode kegagalan: penambangan data dan “overfitting karena kecocokan”
Karena R² merangkum kecocokan, R² dapat mendorong pilihan model yang terlihat baik pada data historis tetapi menggeneralisasi dengan buruk. Ini bukan jaminan—hasil bervariasi dengan kondisi pasar, biaya, eksekusi, dan yurisdiksi. Hubungan historis tidak menetapkan hasil masa depan.
Mode kegagalan: biaya dan gesekan dunia nyata tidak disertakan
Jika Anda menggunakan R² dari pengaturan yang mengabaikan biaya atau gesekan yang relevan, Anda dapat menciptakan kesan efektivitas yang menyesatkan. Verifikasi harus mencerminkan seluruh rantai pengukuran dan eksekusi, bukan hanya kecocokan statistik.
Risiko verifikasi: mengasumsikan perhitungan sesuai dengan pertanyaan Anda
R² dihitung untuk variabel dependen tertentu dan model tertentu. Jika tujuan sebenarnya Anda adalah hal lain (misalnya, minimalisasi kesalahan di bawah fungsi kerugian yang berbeda), R² mungkin bukan ringkasan yang tepat.
Verifikasi atau pertanyaan berikutnya
Untuk memverifikasi apakah interpretasi R² Anda masuk akal, terapkan daftar periksa netral ini:
- Nyatakan variabel dependen dan bentuk model apa yang digunakan.
- Nyatakan jendela waktu dan apa yang dikecualikan.
- Konfirmasikan hasil pada pembagian di luar sampel atau periode penahanan.
- Periksa perilaku residual dan catat periode apa pun dengan kesalahan yang tidak biasa.
Jika Anda membagikan definisi persis R² (rumus), variabel dependen, dan pembagian data yang Anda gunakan, Anda dapat memeriksa secara independen apakah interpretasi tersebut sesuai dengan statistik yang sebenarnya Anda hitung.