R²(決定係数)でよくある間違いは?
直接の答え
R Squaredでよくある間違いは、たいてい数学の誤りではありません。解釈と検証のミスです。たとえば、R Squaredを予測の保証だとみなすこと、「過去データへの適合」と「信頼できる将来の結果」を取り違えること、計算の前提(仮定)を確認せずに使うこと、そして値がデータの選び方、前処理、コストによって変わり得る点を無視することなどです。
仕組み:R Squaredが実際に測っているもの
R Squared(多くの場合R²と表記)は、従属変数の変動のうち、モデル内で独立変数(群)によってどれくらい説明できているかを表す統計量です。非公式には「goodness-of-fit(適合度)」の指標です。R²が高いほど、モデルの出力は歴史データにより密接に追随します。
見落とされがちなポイントは2つあります:
- R²は、特定のモデル形式と使用するデータに依存します(どの観測を含めるか、そしてそれをどう表現するか)。
- 多くのR²は、モデリングのセットアップが適切であるという前提のもとで計算されます(たとえば、測定している関係が、選んだ変数と時間窓に対して意味のあるものだということ)。
覚えておくべき安定した考え方は次の通りです:R²は、ベースラインとなるモデルに対する相対的な適合度の話です。R²それ自体では、誤差が絶対的に小さいかどうか、残差がうまく振る舞っているかどうか、あるいはその関係がサンプル外でも成り立つかどうかは分かりません。
証拠または例:どこで人がつまずくのか
間違い1:「高いR²」を「強い予測力」と取り違える
よくある誤解は、高いR²を「将来の結果がモデルに近くなる証拠」と解釈してしまうことです。モデルが過去の分散の大部分を説明できていても、将来の分散に関する不確実性、レジームの変化、構造変化といった点が消えるわけではありません。
中立的な確認:アウト・オブ・サンプルのパフォーマンス(または任意のホールドアウト期間)を、適合度だけでなく誤差の大きさを反映する指標で比較してください。
間違い2:測定セットアップにある重要な限界を無視する
入力や前処理を変えると、R²は動くことがあります。例:
- 異なる時間窓を使う(前半データと後半データ)
- 変数のスケーリングや変換の方法を変える
- 挙動が通常と異なる観測を含めたり除外したりする
中立的な確認:複数の妥当な分割でR²を再計算し、そのパターンが一貫しているか確認してください。
間違い3:R²は誤差分布を説明しないことを忘れる
R²が似ていても、残差のパターンが大きく異なることがあります。たとえば、誤差が大半の時間は小さい一方で、特定の期間では非常に大きいことがあります。単一のR²という数字は、それを隠してしまいます。
中立的な確認:残差を点検し、誤差が時間を通じて、また値のレンジを通じて安定しているかどうかを考えてください。
限界とリスク
失敗パターン:データマイニングと「適合による過学習」
R²は適合度を要約するため、歴史データでは良く見えるモデル選択を後押しし、一般化がうまくいかないことがあります。これは保証ではありません。結果は、市場環境、コスト、執行、そして管轄(jurisdiction)によって変わります。過去の関係は、将来の結果を示すものではありません。
失敗パターン:コストや現実の摩擦が含まれていない
関連するコストや摩擦を無視するセットアップから得たR²を使うと、効果が高いという誤解を招く感覚を作ってしまうかもしれません。検証は、統計的な適合度だけでなく、測定と執行の全チェーンを反映すべきです。
検証リスク:「計算があなたの問いと一致している」と決めつける
R²は、特定の従属変数と特定のモデルに対して計算されます。あなたの本当の目的が別のもの(たとえば、別の損失関数のもとでの誤差最小化)である場合、R²は適切な要約にならない可能性があります。
検証、または次の質問
R²の解釈が妥当かどうかを確認するには、この中立的なチェックリストを適用してください:
- 従属変数とモデル形式に何を使ったかを述べる。
- 時間窓と、何を除外したかを述べる。
- アウト・オブ・サンプルの分割、またはホールドアウト期間で結果を確認する。
- 残差の挙動を点検し、異常な誤差が出ている期間があれば記録する。
R²のあなたの正確な定義(式)、従属変数、そして使ったデータ分割を共有できれば、解釈が、あなたが実際に計算した統計量と一致しているかを独立に確認できます。