如何验证样本外测试信息
明确定义样本外测试
样本外测试是一种评估方法，其性能评估基于未用于开发、调优或选择系统的数据。其目标是衡量结果在未知条件下的泛化能力，而非系统对历史数据的拟合程度。
为使信息可验证，需将机制与可变因素区分开：
- 稳定机制： 保留数据的思想、数据集划分规则以及评估方法。
- 可变条件： 市场行为、执行质量、交易成本，以及可能因提供商或司法管辖区不同而变化的任何规则。
当某人描述一次样本外测试时，应将其视为必须能够复现的独立输入：哪些数据用于开发，哪些数据被保留用于测试，以及结果是如何计算的。
使用可实际审计的来源层级
即使不依赖实时价格或当前监管细节，您也可以通过检查来源质量的层级结构来验证声明的可验证性：
- 方法文档（最高优先级）： 任何书面规范，定义了划分程序、评估指标和数据处理规则。
- 数据集描述： 清晰说明历史数据的含义、收集或标注方式，以及时间边界如何执行。
- 可复现的计算说明： 显示如何从原始数据计算报告结果的公式或逐步逻辑。
- 结果叙述（最低优先级）： 图表、摘要或结论，但缺乏底层方法细节。
如果某条信息未提供足够细节以识别划分和计算规则，则无法独立验证。这本身就是一项关键的验证标准。
可复现的验证步骤（审计清单）
使用以下步骤独立验证有关样本外测试的声明：
-
确认划分规则（无重复使用）：
- 明确识别哪些时间段属于训练/开发，哪些时间段保留用于测试。
- 确保保留部分未用于参数调优、模型选择或反复的“试错”设计。
-
检查泄露信号： 寻找划分不真正独立的迹象，例如：
- 开发与测试之间的时间范围重叠，
- 数据归一化或特征构建使用了测试窗口的信息，
- 在观察测试性能后反复重新调优。
-
验证评估指标和假设：
- 必须明确说明指标（例如，收益如何汇总、复利如何处理，或使用何种风险度量）。
- 如果看到示例计算，需确认其清楚说明了假设（如成本和执行时机）和单位。
-
统一成本和执行时机：
- 如果包含交易成本或执行延迟，必须定义其建模方式。
- 如果未包含，应视报告结果为不完整，无法用于现实世界比较。
-
用相同规则复现，而非相同叙述：
- 如果能复现相同的划分和计算步骤，即可测试报告结果是否源自所述方法。
- 如果结果无法复现，则该声明要么描述不足，要么不一致。
主要局限性与常见失败模式
样本外测试仍可能无法预测真实未来行为。您应根据方法细节验证以下常见局限性：
- 因流程变更而伪装的过拟合： 如果开发循环意外看到测试信息（直接或间接），则“未见”测试数据已不再是真正未见。
- 时间结构违规： 对时间序列数据进行随机划分可能产生误导；方法必须证明其时间处理的合理性。
- 成本与执行不匹配： 未包含一致成本或基于不现实执行假设计算的结果可能无法泛化。
- 隐藏的自由度： 如果尝试了多种设计选择，即使技术上未参与训练，保留测试也可能被有效用于选择。
由于结果依赖于可变条件，您应将样本外结果视为特定假设下的估计值，而非可靠预测。
验证与下一个问题
当您阅读有关样本外测试的信息时，下一个验证问题是直接的：仅从描述中能否重建确切的划分和计算规则？ 如果不能，则无法独立确认该声明。