Data apa yang dibutuhkan untuk menilai R Squared?

Tentukan R Squared sebelum mengumpulkan data

R Squared (sering ditulis R²) adalah angka ringkasan yang membandingkan seberapa baik prediksi model cocok dengan hasil yang diamati. Gagasan umumnya adalah: seberapa besar variasi dalam variabel dependen yang diamati dijelaskan oleh model, relatif terhadap garis dasar yang memprediksi sesuatu seperti rata-rata.

Untuk menilai R Squared, pertama-tama Anda perlu mengetahui definisi pasti yang digunakan (misalnya, apakah dihitung dari jumlah kuadrat total dan jumlah kuadrat residual dengan cara standar, dan apakah varian “adjusted” digunakan). Implementasi yang berbeda dapat melaporkan angka yang berbeda bahkan ketika data yang mendasarinya serupa.

Input data yang Anda butuhkan

Paling tidak, Anda memerlukan semua informasi yang dibutuhkan untuk mereproduksi sisi dependen dari perhitungan.

1. Deret variabel dependen yang diamati

• Pengamatan berindeks waktu yang membentuk nilai-y.
• Frekuensi pengambilan sampel (misalnya, setiap tick, setiap menit, harian), termasuk satuannya.
• Aturan penyelarasan waktu (kapan setiap nilai-y dianggap “berkorespondensi” dengan prediktor).

2. Nilai prediksi atau model yang dipasang Anda memiliki dua opsi:

• Nilai prediksi: Nilai y-hat prediksi model untuk titik waktu yang sama, dengan urutan yang sama.
• Atau, input model yang dibutuhkan untuk menghasilkan y-hat: deret prediktor (nilai-x), metode estimasi, dan parameter yang dihasilkan dari pemasangan.

3. Garis dasar yang digunakan dalam penyebut Sebagian besar rumus R² menggunakan garis dasar yang mencerminkan variasi di sekitar rata-rata variabel dependen yang diamati. Untuk menilai R² dengan benar, Anda harus mengetahui garis dasar apa yang digunakan dan apakah rata-rata dihitung pada pembagian kumpulan data yang sama dengan residual.

Pemeriksaan asal-usul dan pra-pemrosesan

R² bukan hanya rumus; ia bergantung pada apa yang masuk ke dalam deret.

Periksa dan catat:

• Asal-usul data: dari mana data berasal (feed atau sumber), dan bagaimana data diperoleh.
• Aturan pemfilteran data: apakah pengamatan dihapus karena kesalahan, hari libur, pencilan, atau likuiditas rendah.
• Penanganan nilai yang hilang: apakah celah dihilangkan, diisi-maju, diinterpolasi, atau diperlakukan sebaliknya.
• Transformasi: apakah penskalaan, transformasi log, pembedaan, atau normalisasi diterapkan, dan apakah konsisten di seluruh periode pelatihan dan evaluasi.

Risiko material: jika x dan y diproses sebelumnya secara berbeda, atau jika stempel waktu tidak selaras, R² dapat terlihat lebih tinggi atau lebih rendah karena alasan yang tidak terkait dengan kekuatan penjelas yang sebenarnya.

Ketepatan waktu dan asumsi pembagian

Untuk menilai apakah nilai R² bermakna, Anda perlu mengetahui bagaimana waktu digunakan.

Anda harus mendokumentasikan:

• Apakah R² dihitung pada data yang sama yang digunakan untuk memasang model atau pada data yang ditahan.
• Jendela waktu spesifik yang digunakan untuk pemasangan versus evaluasi.
• Apakah pendekatan jendela bergulir atau memperluas digunakan (pendekatan tersebut mengubah arti hasil yang dilaporkan).

Mode kegagalan yang umum adalah memperlakukan R² in-sample seolah-olah menggambarkan hubungan masa depan. Hubungan historis dapat berubah ketika perilaku pasar berubah, sehingga metode yang sama dapat menghasilkan R² yang berbeda pada data selanjutnya.

Bukti atau contoh: apa yang dapat Anda verifikasi secara independen

Daftar periksa verifikasi independen harus mencakup:

• Konfirmasikan deret y yang tepat yang digunakan (stempel waktu, unit, dan pemfilteran).
• Konfirmasikan apakah nilai yang dilaporkan menggunakan prediksi y-hat atau prediksi yang dihitung ulang dari parameter model yang tersimpan.
• Konfirmasikan definisi R² yang tepat (dan apakah R² adjusted digunakan).
• Hitung ulang R² dari angka yang diberikan (y, y-hat, residual) menggunakan rumus yang dinyatakan dan pembagian kumpulan data yang sama.

Jika salah satu dari ini hilang, R² yang dilaporkan tidak dapat diaudit sepenuhnya, karena banyak detail implementasi mengubah hasilnya.

Keterbatasan dan risiko (mode kegagalan material)

Setidaknya satu keterbatasan yang perlu diperhatikan:

• Ketergantungan model: R² mencerminkan kecocokan di bawah bentuk model tertentu. Jika hubungannya nonlinier atau berubah seiring waktu, R² yang sama bisa menyesatkan.

Keterbatasan penting lainnya:

• Non-stasioneritas: jika proses pembangkit data berkembang, R² yang tinggi dalam satu periode mungkin tidak bertahan di kemudian hari.
• Overfitting: jika model terlalu fleksibel, ia dapat mencocokkan noise, meningkatkan R² in-sample secara berlebihan.
• Sensitivitas terhadap noise dan peristiwa langka: pengukuran yang berisik dapat menyebabkan R² yang tidak stabil di seluruh jendela waktu.
• Perbandingan yang menyesatkan: Nilai R² bisa sulit dibandingkan antar model jika pra-pemrosesan, kumpulan fitur, atau pembagian evaluasi berbeda.