線形回帰における「ディバージェンス（乖離）」とは何を意味する？
直接の答え
線形回帰におけるディバージェンス（乖離）とは、適合した回帰直線によって表される関係が、観測している点から徐々にずれていくことを意味します。平たく言えば、その直線は、当初適合させたデータのパターンを追跡できなくなっているということです。
実務上、「ディバージェンス（乖離）」は線形回帰に備わった単一の機能ではありません。モデルの期待する直線（推定された傾きと切片に基づく）が、新しい、あるいは後の観測を表さなくなってしまうときに何が起きるかを説明するための言い方です。
仕組みと定義
標準的な線形回帰は、y = a + b·x の形の直線を、x が独立変数、y が従属変数となるデータを使って当てはめます。適合した直線は、前提（仮定）のもとでのモデルの平均的な関係を表します。
「ディバージェンス（乖離）」は通常、次のいずれか（または複数）として現れます：
- 残差が増える：残差は、観測された点と適合した直線の間の縦方向の距離です。これらの距離が体系的に大きくなるなら、直線がデータから乖離していることになります。
- 傾きまたは切片が変わる：基礎となる関係が時間とともに変化している場合、固定された1本の直線では、前半と後半の両方をうまく一致させられません。
- 非線形の構造：序盤のデータが概ね直線的に見えても、後のデータは曲線やレジーム（状態）に従う可能性があり、その場合は直線が乖離します。
ディバージェンスを正しく解釈するには、仕組み（直線がどう当てはめられ、残差がどう振る舞うか）と、変数条件（実データがどう変わり得るか）を分けて考えると役立ちます。
証拠または例（前提つき）
歴史的なペア（x, y）を使って直線を当てはめるとします。序盤の観測が直線の近くにあるため残差が小さいと仮定します。すると後半では、xが増え続ける一方で、点が直線の上側へ一貫して移動します。この後半区間について残差を再確認すると、それらの 平均的な大きさ が上がっているはずです。
このパターンは、互いに排他的ではない複数の理由で起こり得ます：
- モデルの前提がもはや成り立たない（たとえば、xとyの関係が変わる）。
- データに構造的な変化が含まれている（新しい「レジーム」や別の関係）ため、1つのグローバルな直線がもはや適切でない。
- ノイズが支配的：前提が安定していても、ランダムな変動によって、直線が間違って見える期間が生じることがあります。
重要な制約：回帰は常に 何らかの 直線を当てはめるため、ディバージェンスは事前に定義したときに最も意味を持ちます（たとえば、「残差が選んだ閾値を超える」または「アウト・オブ・サンプル誤差が増える」など）。すでに何が起きたかを知った後に定義するのではありません。
限界とリスク
人々がディバージェンスについて語るときに重要になる、よくある2つのリスクがあります：
-
確認限界（コンファメーション・リミット） 同じデータだけでディバージェンスを判断すると、直線がそのパターンを「説明できた度合い」を過大評価してしまう可能性があります。適切な評価にはアウト・オブ・サンプルでの確認が必要です。つまり、あるセットで当てはめてから、同じ定義のディバージェンスを使って、未観測のデータでテストします。
-
後知恵バイアス 結果が分かった後では、当てはめた直線からの以前のどんなズレも「意味のあるディバージェンス」として解釈しやすくなります。これにより、単純な線形モデルが不完全な要約にすぎない場合でも、ディバージェンスを方向性や予測可能性の証拠として扱うなど、結論が過大になり得ます。
その他の実務上の限界には次が含まれます：
- 実データの文脈におけるスケールやコストの変化は関係を変え得るため、同じ回帰仕様でも挙動が異なる可能性があります。
- 実行タイミングや観測タイミングによって、モデル化したものと、その後に比較するものとの間でズレが生じることがあります。
- 管轄ごとのルールやデータへのアクセスによって、検証できる観測が変わる可能性があります。比較するデータセットが異なるだけで、ディバージェンスが見かけ上現れることもあります。
要点：過去の関係は将来の結果を保証しません。ディバージェンスはある時点での不一致を表しますが、それが自動的に信頼できる将来の結果を意味するわけではありません。
検証または次の質問
「ディバージェンス」が本物で、偶然ではないかを独立に検証するには、定義を明確に保ってください：
- 残差または誤差の増加でディバージェンスを定義し、閾値と時間分割を設定する。
- 以前のウィンドウでモデルを再当てはめし、同じ指標で後のウィンドウを評価する。
- 複数の独立した時間区間にまたがってディバージェンスが持続するか確認する。
次に探る質問：関係が変わり得るとき、どの回帰仕様（ウィンドウ長、変数の含め方、変換の選択）を評価すべきでしょうか？線形回帰では、条件が変わったときにディバージェンスがどれくらい早く現れるかを、これがしばしば左右します。
DOCUMENT END