样本外测试 vs. 相关外汇概念
直接答案
样本外测试（通常缩写为 OOS 测试）是一种评估步骤，旨在衡量一组规则或拟合参数在未用于构建或调优它们的数据上的表现。它与相关的外汇评估概念——尤其是回测和前向测试——有所不同，因为这些概念在何时以及使用哪些数据进行参数拟合与性能评估方面存在差异。
理解这种差异的一个有效方式是区分两个阶段：
- 模型/参数形成（选择规则和参数），以及
- 性能评估（衡量结果）。
样本外测试通过使用“新”数据进行评估，将这两个阶段明确分开，这是减少（但不能完全消除）由过拟合导致的乐观结果的主要机制。
机制：每种概念如何使用数据
样本外测试（OOS）
样本外测试是指在未参与构建规则的数据集上评估候选交易逻辑（如规则、指标设置、阈值、风险限制等）的做法。
在标准教学设定中，你通常假设：
- 你拥有一段历史价格序列；
- 将其至少分为两部分：“开发”（样本内）部分和“评估”（样本外）部分；
- 仅使用开发部分来形成或调优策略；
- 仅使用样本外部分报告性能指标。
其目的并非直接预测未来，而是测试该策略在开发阶段表现出的结果是否能延续到其未见过的数据上。
回测（Backtesting）
回测是更广泛的概念，指在历史数据上模拟规则表现的过程。最简单的形式下，回测回答的问题是：“如果这些规则在过去被执行，模拟结果会是什么？”
回测可以有多种实现方式，包括同时使用相同数据进行调优和评估的方法。当这种情况发生时，表现可能看起来比使用真正未见数据时更好，因为模拟结果可能反映了偶然匹配噪声的决策。
因此，与样本外测试的关键区别并非回测“错误”，而是仅靠回测本身并不能保证形成与评估之间的严格分离。
前向测试（Forward Testing）
前向测试（有时称为“纸面交易”或“在后续数据上运行”）是指在开发期之后的时间段评估策略表现。
从概念上讲，它强调时间顺序：你让系统“运行”到开发期间不可用的未来时段。这使其比单一历史分割更接近实时使用。
然而，前向测试仍依赖于若干假设。即使时间顺序被尊重，结果仍可能因以下因素而变化：
- 交易成本的建模方式；
- 执行是否被真实模拟；
- 市场条件是否发生变化。
有限比较：各标准如何不同
下表使用常见验证标准进行有限比较。对于每个标准，“典型归属者”是指其定义最直接对应该标准的概念。
1) 开发与评估之间的数据分离
- 样本外测试（典型归属者：OOS）：明确要求保留未参与开发的评估数据。
- 回测（典型归属者：回测概念）：可能或可能不分离开发与评估。
- 前向测试（典型归属者：前向测试）：在开发之后的较晚时段进行评估，通常在时间上靠后，但不能自动确保所有调参决策的完全分离。
2) 主要目的
- 样本外测试：评估对新历史数据的泛化能力。
- 回测：模拟规则集在历史上的行为。
- 前向测试：评估策略随时间推移在后续数据中的表现。
3) 乐观结果的风险
- 样本外测试：若采用清晰分割，可降低乐观偏差，但仍可能因多次比较、重复再调优或预处理中的数据泄露而受影响。
- 回测：若同一数据集同时用于设计和评估，可能导致高度乐观的结果。
- 前向测试：若方法根据前向测试结果反复修改，或执行假设不现实，则仍可能产生乐观偏差。
4) 典型失败模式
- 样本外测试失败模式：数据泄露（间接使用未来信息）、对特定样本外区段的过拟合、以及在多次实验中重复选择参数。
- 回测失败模式：因评估与拟合过程重叠而导致的样本内偏差。
- 前向测试失败模式：开发后市场机制变化，以及模拟执行与真实执行之间的不匹配。
证据或示例（含明确假设）
考虑一个带有明确前提的简单教学示例。
假设你从一个使用单一参数的规则开始：回看窗口长度。你拥有10年的周线价格数据。
- 开发期：第1–7年
- 评估期：第8–10年
步骤A（形成）：你尝试多个窗口长度，并选择在第1–7年表现最佳的那个。
步骤B（OOS测试）：你保持选定的窗口长度不变，评估其在第8–10年的表现。
在此设定下：
- 如果第8–10年表现显著提升，表明该规则可能在开发期之外具有泛化能力；
- 如果样本外区段表现崩溃，则表明开发期的成功可能仅限于早期数据。
现在与纯回测场景对比：假设你使用全部10年数据同时进行参数评估和选择。即使模拟显示强劲结果，你也无法将其归因于泛化能力，因为评估期被间接用于塑造参数。
最后与前向测试对比：假设你在第1–7年开发方法，然后在第8–10年以类似时间推进的方式运行。它可以揭示诸如执行假设等实际问题，但仍不能保证未来表现，因为市场可能变化，且交易成本和成交价差可能与简化模型不同。
局限性与风险（可能出现的问题）
即使使用样本外测试，外汇评估中仍存在显著的局限性和失败模式。
-
尽管有OOS仍可能过拟合
若你根据样本外测试结果反复调整参数，样本外区段实际上就成为了决策过程的一部分，从而重新引入乐观偏差。 -
数据泄露
若预处理使用了在评估时点不可获得的信息（例如，使用未来值计算的归一化），样本外结果可能产生误导。 -
非平稳性与机制变化
外汇市场可能随时间改变行为。在一个机制下有效的策略在另一个机制下可能失效，因此样本外表现并不能保证稳健性。 -
成本与执行不匹配
回测和前向测试模拟常简化交易执行。交易成本、点差、滑点和订单处理的差异可能显著改变实际结果。