线性回归有哪些局限性？
线性回归一分钟速览
线性回归将结果建模为输入变量的线性组合。在其最简单的形式中，它估计一个类似 y = a + b·x 的方程，其中 a 是截距，b 是斜率。“拟合”通常意味着该方法选择参数（a 和 b）以最小化目标函数，例如预测值与观测值之间的平均平方差。
当你在任何场景（包括与金融相关的特征工程）中应用这一思想时，关键的局限性不在于拟合的计算过程本身，而在于拟合背后的假设是否反映了真实的数据生成过程。
机制及假设的引入位置
一个基本的局限性在于，线性回归建立在一系列建模选择和假设之上：
- 线性关系：它假设在控制其他变量后，x 每变化一个单位，y 的期望变化是恒定的。如果真实关系是非线性的，拟合的直线可能会系统性地偏离实际模式。
- 误差的独立性与稳定性：许多标准解释假设误差之间没有强相关性，且方差大致恒定。如果误差在时间上聚集或方差发生变化，不确定性估计可能会出错。
- 输入变量的外生性（因果角度）：如果 x 受到影响 y 的未观测因素的影响，拟合出的关系可能反映的是这些隐藏因素，而非稳定的因果联系。
区分“机制”与“市场/提供方条件”很重要，因为回归拟合过程在给定数据下是确定性的，但生成新数据的现实环境可能发生变化。
证据与具体失效模式（附带假设说明）
考虑一个简单的例子：你使用历史 (x, y) 数据对 y = a + b·x 进行拟合，并用相同的历史数据评估拟合效果。即使关系不可靠，也可能获得良好的历史拟合。
常见的失效模式包括：
- 过拟合噪声：变量过多，或模式仅存在于有限时间窗口内时，模型可能拟合过去的随机性。
- 结构突变：如果 x 与 y 的关系在训练期后发生变化，先前的系数将不再适用于新环境。
- 异常值与厚尾分布：平方误差目标函数可能被极端观测值主导，导致参数估计更多反映异常值而非典型数据。
- 非平稳性：在许多时间序列数据中，分布可能随时间漂移。在一个时期训练的回归模型可能无法代表后续时期。
在金融相关场景中，“相同”变量在不同条件下可能表现不同（例如波动率变化期间）。线性回归无法自动检测这些变化；它只是外推已学习的关系，直到数据不再符合其假设。
局限性与风险
主要局限性在于不确定性以及解释的脆弱性：
- 历史关系不保证未来结果：即使模型在过去最小化了平方误差，也不能保证未来的数据生成过程与训练条件一致。
- 估计与置信区间依赖假设：如果误差方差变化或观测值相关，标准的不确定性陈述可能过于乐观或校准不当。
- 对数据质量敏感：缺失值、不一致的预处理或测量方式变化都可能改变结果。
- 模型设定错误：即使方法运行成功，线性形式可能并非正确的函数形式。
此外，在实际决策环境中，结果可能因交易成本、执行差异和司法管辖区特定限制而变化。这些因素无法仅通过回归拟合捕捉，因此看似强的关系可能无法转化为可用的实际表现。
如何独立验证哪些内容被支持（或不被支持）
为了以不预设未来成功的方式验证局限性，你可以检查基本假设是否合理：
- 使用时间顺序的评估：在未用于拟合参数的后续数据上进行测试。
- 检查残差行为：观察误差中是否存在系统性模式或方差变化的迹象。
- 测试稳定性：在多个时间段上拟合模型，观察系数是否剧烈变化。
- 比较函数形式：如果简单的线性形式反复失败，而非线性替代方案能减少系统性误差，则局限性很可能是模型设定错误。
如果你需要清晰地解释这些局限性，请聚焦于：在你的具体情境中，回归要有意义需要满足哪些条件，然后评估这些条件可能在何处失效。