線形回帰の限界とは？
1分でわかる線形回帰
線形回帰は、あるアウトカムを入力変数の線形結合としてモデル化します。最も単純な形では、次のような方程式を推定します： y = a + b·x。ここで a は切片、b は傾きです。 「適合（fit）」とは通常、予測値と観測値の平均二乗差のような目的関数を小さくするために、パラメータ（a と b）を選ぶことを意味します。
どんな設定でも（金融関連の特徴量エンジニアリングを含めて）、重要な限界は「適合の算術」ではありません。問題は、適合の背後にある仮定が、実際のデータ生成プロセスにどれだけ似ているかです。
仕組みと、仮定が入ってくる場所
基本的な限界は、線形回帰がモデリング上の選択と仮定に基づいて構築されている点です：
- 線形性：他に含めた変数を考慮した後で、x が1単位変化したときの y の期待変化が一定であると仮定します。真の関係が非線形なら、当てはめた直線はパターンを体系的に取り逃がす可能性があります。
- 独立性と安定した誤差挙動：多くの標準的な解釈では、誤差が強く相関しておらず、分散が概ね一定であることが前提とされます。誤差が時間の経過で塊のように現れたり、分散が変化したりすると、不確実性の推定が誤ることがあります。
- 入力の外生性（因果の観点）：x が観測されない要因の影響を受け、その要因も y に影響している場合、当てはめた関係は安定したつながりではなく、そうした隠れた要因を反映してしまうことがあります。
「仕組み（mechanics）」と「市場／提供者の条件（market/provider conditions）」を分けて考えることが重要なのは、回帰の当てはめ手順はデータが与えられれば決定論的ですが、新しいデータを生み出す現実の環境は異なるかもしれないからです。
エビデンスと、具体的な失敗パターン（仮定を明示して）
たとえば、おもちゃの例として、歴史的な（x, y）のペアを使って y = a + b·x を当てはめ、同じ歴史データで適合を評価するとします。関係が信頼できないとしても、良い歴史的な適合は起こり得ます。
よくある失敗パターンには次のようなものがあります：
- ノイズへの過剰適合：変数が多すぎる場合、または限られた時間窓にしか存在しないパターンがある場合、モデルは過去の偶然（ランダム性）に合わせ込んでしまうことがあります。
- レジーム（体制）転換：学習期間の後で x と y の関係が変わると、以前の係数は新しいレジームを説明しなくなります。
- 外れ値と厚い裾（heavy tails）：二乗誤差の目的関数は極端な観測に支配されやすく、典型的なデータよりも外れ値を反映したパラメータ推定になりがちです。
- 非定常性（non-stationarity）：時系列順に並んだ多くのデータセットでは、分布が変動（ドリフト）します。ある期間で学習した回帰は、後の期間を表さないかもしれません。
金融関連の文脈では、「同じ」変数でも条件によって振る舞いが異なることがよくあります（たとえばボラティリティが変化しているときなど）。線形回帰は、そうしたシフトを自動的に検出するわけではありません。データがその仮定に合わなくなるまで、学習した関係を単に外挿（extrapolate）します。
限界とリスク
主な限界は、不確実性に関すること、そして解釈がどれだけ簡単に崩れるかにあります：
- 歴史的な関係は将来の結果を保証しません。モデルが過去において二乗誤差を最小化していても、将来のデータ生成プロセスが学習条件と一致する保証はありません。
- 推定値や区間は仮定に依存します。誤差分散が変化したり、観測が相関していたりすると、標準的な不確実性の説明が楽観的すぎたり、キャリブレーションがずれたりする可能性があります。
- データ品質への感度：欠損値、不整合な前処理、測定のずれは結果を変え得ます。
- 「モデルの誤った仕様（model misspecification）」：手法が動いているとしても、線形という関数形が間違っている可能性があります。
別の観点として、実際の意思決定の場面でのアウトカムは、コスト、実行（execution）の違い、そして管轄（jurisdiction）固有の制約などによって変わり得ます。これらの要因は回帰の適合だけでは捉えられないため、見かけ上強い関係でも、それが実世界で使えるパフォーマンスに結びつかないことがあります。
何が（そして何が）支持されているかを独立に検証する方法
将来の成功を前提にしない形で限界を検証するには、基礎となる仮定が妥当そうに見えるかを確認できます：
- 時間を尊重した評価を使う：パラメータの当てはめに使わなかった、後のデータでテストする。
- 残差の挙動を確認する：誤差に体系的なパターンがないか、分散が変わっている兆候がないかを見る。
- 安定性をテストする：複数の窓でモデルを当てはめ、係数が大きく変動しないか確認する。
- 関数形を比較する：単純な線形が繰り返し失敗し、非線形の代替が体系的な誤差を減らすなら、その限界は仕様の誤り（misspecification）である可能性が高い。
限界を明確に説明する必要があるなら、回帰があなたの文脈で意味を持つために何が成り立つ必要があるのかに焦点を当て、そのうえでどこで失敗し得るかを評価してください。