线性回归是如何计算的
简而言之：什么是线性回归
线性回归是一种用于建模两个变量之间关系的方法：
- x：输入（自变量）
- y：输出（因变量）
该模型假设，平均而言，y 随 x 的变化大致呈直线模式变化。“大致”一词很重要：数据几乎从不完全遵循一条精确的直线，因此模型中包含了一个误差项。
最常见的形式是普通最小二乘法（OLS），它选择一条直线，使得整体预测误差尽可能小。
计算方法：模型与公式
线性回归模型表示为：
[ \hat{y} = a + b x ]
其中：
- (\hat{y}) 是 y 的预测值
- (a) 是截距（当 x = 0 时 y 的预测值）
- (b) 是斜率（当 x 增加 1 时 (\hat{y}) 的变化量）
为了计算 a 和 b，OLS 使用了最小化残差平方和的思想。
残差与最小二乘目标
对于数据点 ((x_i, y_i))，其中 (i=1,2,\dots,n)：
- 残差：(e_i = y_i - \hat{y}_i)
- 残差平方和：(\sum_{i=1}^{n} e_i^2)
OLS 选择 (a) 和 (b) 以最小化该和。
斜率 (b)
斜率的一个常用计算公式为：
[ b = \frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2} ]
其中：
- (\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i)
- (\bar{y} = \frac{1}{n}\sum_{i=1}^{n} y_i)
直观理解：分子是 x 和 y 的共变性（x 的偏差与 y 的偏差如何对齐），分母是 x 相对于其均值的离散程度。
截距 (a)
一旦 (b) 已知，截距由拟合直线必须通过点 ((\bar{x},\bar{y})) 这一要求得出：
[ a = \bar{y} - b\bar{x} ]
所需数据（及必须满足的条件）
要计算一个简单的线性回归，你需要：
- 一组成对的观测值 ((x_i, y_i))，其中 (i=1\ldots n)。
- x 具有足够的变化，即 (\sum (x_i-\bar{x})^2 \neq 0)。如果所有 x 值都相同，则斜率无定义。
- 明确 x 和 y 在你的用例中的含义。模型总是会产生预测结果；它不会自动告诉你这种关系是因果关系。
“直线拟合”背后的假设
OLS 计算附带一些影响解释的假设：
- 形式为 (a + bx) 的直线是对数据模式的合适近似。
- 误差通常被视为与 x 无关（更准确地说，通常假设给定 x 的期望残差为 0）。
- 残差不应显示系统性结构；如果存在，则说明直线可能不是合适的选择。
这些是关于数据行为方式的假设，而不是关于未来的假设。
一个小例子的完整计算（无需特殊软件）
假设你有 3 个点：((x_1,y_1),(x_2,y_2),(x_3,y_3))。要计算回归直线：
- 计算 (\bar{x}) 和 (\bar{y})。
- 计算分子：(\sum (x_i-\bar{x})(y_i-\bar{y}))。
- 计算分母：(\sum (x_i-\bar{x})^2)。
- 计算 (b) = 分子 ÷ 分母。
- 计算 (a = \bar{y} - b\bar{x})。
为验证结果，计算每个拟合值 (\hat{y}_i = a + b x_i)，然后计算残差 (e_i = y_i-\hat{y}_i)。如果残差较大或呈现曲线模式而非随机分布，则表明简单的线性形式可能与数据不匹配。
局限性与失效情况
尽管计算过程简单直接，但当数据违反模型背后的假设时，线性回归可能会产生误导。
1) 非线性关系
如果真实关系是弯曲的（例如先上升后下降），直线会平均这种行为。输出可能仍能最小化平方误差，但会掩盖重要的结构。
2) 异常值可能主导结果
由于目标函数中误差是平方的，极端点会强烈影响 (a) 和 (b)。单个异常观测值就可能显著改变拟合直线。
3) x 必须有变化
如果 x 没有离散度（所有 x 值相同），斜率公式的分母将为零。在这种情况下，无法计算有意义的斜率。
4) “良好拟合”不意味着未来可用
历史模式可能发生变化。基于过去数据拟合的回归描述了数据在该数据集中的行为；它并不能证明相同模式会持续下去。
验证：如何独立检查你的结果
要独立验证一个计算出的线性回归，你可以：
- 重新计算 (\bar{x}) 和 (\bar{y})。
- 使用偏差形式重新计算斜率 (b)。
- 重新计算截距 (a = \bar{y}-b\bar{x})。
- 生成拟合值 (\hat{y}_i) 和残差 (e_i)。
- 检查残差：
- 它们是否大多很小？
- 它们看起来是随机散布，还是显示出系统性模式？
如果任何计算值与你的重新计算结果不符，问题很可能出在输入不匹配（如 x/y 配对错误、单位混淆或顺序错误），而不是回归公式本身。
下一步需澄清的问题
在应用或解释线性回归之前，最好先明确 x 代表什么，以及直线近似对该数据是否合理。如果你想进一步探索，可以将线性回归与相关概念（如相关性或不同类型的回归，例如包含更多预测变量的模型）进行比较，以明确计算中哪些部分发生了变化，哪些保持不变。