Pertimbangan lanjutan untuk R Squared (R²)

Apa arti R Squared pada tingkat lanjutan

R Squared, sering ditulis sebagai R², adalah statistik ringkasan yang membandingkan seberapa baik model yang dipilih mereproduksi variasi dalam sekumpulan nilai yang diamati. Dalam interpretasi yang paling sederhana (dan paling umum), R² menjawab: “Berapa banyak variasi yang diamati dijelaskan oleh model relatif terhadap garis dasar yang tidak menggunakan input penjelas model?”

Makna ini stabil, tetapi banyak detail praktis yang tidak. “Pertimbangan lanjutan” karena itu lebih fokus pada memastikan apa yang sebenarnya Anda ukur daripada menghafal rumus: definisi yang digunakan, garis dasar yang digunakan untuk perbandingan, cara variabel target dibangun, dan apakah Anda mengevaluasi pada data yang sama yang digunakan model (dalam sampel) atau pada data baru (di luar sampel).

Cara kerja R Squared dalam model sederhana yang dapat diperiksa

Titik awal standar adalah model yang memprediksi target Y dari input X, menggunakan regresi linier dengan intersep. Dalam pengaturan yang sudah dikenal ini, R² dapat dinyatakan dalam varians (atau jumlah kuadrat) dari kesalahan residual dibandingkan dengan total variasi di sekitar rata-rata.

Pandangan model yang dapat diperiksa adalah:

1. Pilih seri target Y (hal yang ingin Anda jelaskan).
2. Pilih model yang menghasilkan nilai pas Ŷ.
3. Hitung residual e = Y − Ŷ.
4. Bandingkan variabilitas residual dengan variabilitas garis dasar Y di sekitar rata-ratanya.

Dalam kasus regresi dengan intersep, R² sering dibatasi antara 0 dan 1. Namun, pekerjaan lanjutan mengharuskan pengakuan bahwa batasan ini dapat gagal ketika asumsi berubah (misalnya, ketika Anda mengubah cara garis dasar didefinisikan) atau ketika Anda menghitung R² di luar konteks model yang biasa.

Dependensi yang harus Anda nyatakan sebelum menafsirkan R²

Untuk menafsirkan R² secara independen, Anda perlu menjelaskan setidaknya dependensi berikut:

• Definisi target: Apa sebenarnya Y itu? Untuk deret waktu, Y mungkin berupa level, selisih, kuantitas seperti return, atau transformasi lainnya. Mengubah Y mengubah arti “variasi yang dijelaskan.”
• Bentuk model: R² bergantung pada pemetaan dari input ke Ŷ. Model yang berbeda dapat menghasilkan kurva pas yang berbeda bahkan jika Anda menggunakan kembali data yang sama.
• Garis dasar dan pemusatan: Banyak interpretasi R² bergantung pada perbandingan dengan garis dasar yang memprediksi rata-rata Y. Jika garis dasar berbeda, maknanya berubah.
• Prosedur pemasangan: Apakah Anda memilih kompleksitas model menggunakan kumpulan data yang sama dengan yang Anda laporkan R²-nya?
• Skema evaluasi: R² dalam sampel mencerminkan kesesuaian dengan data pelatihan; R² di luar sampel mencerminkan generalisasi.

Bukti dan contoh: mengapa R² yang tinggi bisa menyesatkan

Berikut adalah penalaran bergaya contoh (bukan klaim tentang pasar langsung mana pun) yang menggambarkan jebakan lanjutan yang umum.

Asumsikan Anda memasang model yang cukup fleksibel untuk melacak fluktuasi jangka pendek. Jika Anda mengevaluasi R² pada data yang sama yang digunakan untuk memasang model, model tersebut mungkin “menjelaskan” sebagian besar variasi dengan mempelajari pola yang spesifik untuk periode itu.

Sekarang bayangkan Anda mengevaluasi model yang sama pada periode berikutnya di mana proses pembuatan data berubah. Residual dapat meningkat, sehingga R² bisa turun. Ini menunjukkan mengapa interpretasi lanjutan mengharuskan pemisahan:

• Kebaikan kesesuaian dengan data historis (apa yang dapat ditunjukkan R² saat dihitung dalam sampel) dari
• Stabilitas prediktif atau penjelas (yang tidak dijamin oleh R²).

Kasus tepi lainnya: ketika target mengubah karakternya

Pertimbangkan target Y yang memiliki episode perilaku berbeda (misalnya, pengelompokan volatilitas, pergeseran struktural, atau perubahan rezim). Bahkan jika R² dihitung “dengan benar,” statistik tersebut merata-ratakan kinerja di seluruh periode tersebut.

Jika sebagian besar variasi berasal dari beberapa segmen, sebuah model mungkin tampak menjelaskan “sebagian besar” variasi hanya dengan mencocokkan segmen tersebut. Dalam praktik lanjutan, Anda harus memeriksa apakah R² didorong oleh subset jendela waktu daripada mencerminkan kekuatan penjelas yang konsisten.

Keterbatasan material dan mode kegagalan

Pertimbangan lanjutan tidak lengkap tanpa mode kegagalan yang eksplisit—situasi di mana R² dapat dihitung tetapi menjadi sulit untuk ditafsirkan.

1) Data non-stasioner atau berubah rezim

Jika hubungan statistik antara X dan Y berubah seiring waktu, R² yang dihitung pada jendela historis mungkin tidak mencerminkan perilaku saat ini. Ini bukan kekurangan dalam aritmetika; ini adalah keterbatasan penggunaan statistik ringkasan di seluruh proses non-stasioner.

2) Kebocoran data atau evaluasi yang tidak tepat

Jika informasi dari masa depan (atau dari target yang seharusnya tidak diketahui pada saat prediksi) memengaruhi konstruksi fitur, R² yang dihasilkan dapat meningkat. Keterbatasannya adalah bahwa R² kemudian akan mengukur artefak dari cara data disiapkan daripada hubungan penjelas model yang sebenarnya.

Langkah verifikasi praktis secara konseptual sederhana: pastikan bahwa setiap kuantitas yang digunakan untuk menghitung X pada waktu t akan tersedia pada waktu t, dan pastikan bahwa evaluasi dilakukan pada data yang tidak digunakan untuk pemasangan atau seleksi.

3) Overfitting dan seleksi model pada data yang sama

Ketika model fleksibel dan Anda mencoba beberapa spesifikasi, melaporkan R² dari kumpulan data yang sama cenderung melebih-lebihkan kinerja. Pertimbangan lanjutan karena itu mencakup disiplin evaluasi, seperti memisahkan jendela pelatihan dan pengujian, dan memperhitungkan fakta bahwa Anda mungkin telah mengoptimalkan hiperparameter.

4) Target dan tujuan model yang tidak selaras

R² adalah tentang menjelaskan varians di bawah definisi keluaran model tertentu. Jika model Anda dilatih untuk mengoptimalkan tujuan yang berbeda (misalnya, kerugian klasifikasi daripada kesesuaian gaya kuadrat-error), R² mungkin tidak mencerminkan apa yang Anda pedulikan.

5) Skala atau transformasi yang tidak tepat

Transformasi Y dapat mengubah apa arti “variasi.” Dua nilai R² yang dihitung pada transformasi target yang berbeda tidak dapat dibandingkan secara langsung, bahkan jika Anda menggunakan input dan model yang sama.

Verifikasi: cara memeriksa secara independen R² yang Anda hitung

Untuk memverifikasi fakta R² secara independen untuk pengaturan Anda sendiri, Anda dapat menggunakan serangkaian pemeriksaan kecil.

1. Konfirmasi definisi yang Anda gunakan. Beberapa perangkat lunak mengekspos varian R² tergantung pada apakah intersep disertakan atau apakah garis dasar perbandingan didefinisikan secara berbeda. 2) Hitung ulang dari nilai antara yang disimpan (Ŷ yang dipasang dan residual e) untuk mengonfirmasi konsistensi dengan R² yang dilaporkan. 3) Pisahkan dalam sampel dari luar sampel. Hitung R² dalam skema evaluasi ketat di mana periode pengujian tidak digunakan dalam pemasangan atau seleksi fitur. 4) Uji stres dengan beberapa ukuran jendela. Jika hasil bervariasi secara drastis dengan panjang jendela, ketidakstabilan itu adalah keterbatasan penting. 5) Periksa perilaku residual secara konseptual.