如何负责任地对Frama进行回测？
什么是Frama的“负责任回测”？
回测是一种研究基于指标的规则在历史价格数据上可能表现如何的方法。“负责任”的回测并不声称能预测未来表现。相反，它建立一个透明、可重复的测试，该测试（1）明确定义指标输入和设置，（2）以现实方式建模成本和执行，（3）限制偏差和过拟合，以及（4）检查结果是否能在用于设计测试的历史周期之外的新数据中成立。
对于Frama而言，你首先应将其理解为一种移动平均线，其行为取决于从价格波动中捕捉到的市场结构。因此，任何回测都应记录你是如何计算移动平均输入的，以及如何将指标值转化为交易规则——不要假设指标值自动等于交易信号。
机制：定义数据、假设以及Frama在测试中的使用方式
首先写下每一个会影响数值的假设：
- 数据定义：使用什么标的（通用外汇货币对）、什么时间周期（例如小时K线）、什么时区，以及该序列是否已根据公司行为进行调整（对外汇而言通常不如股票重要，但原则相同）。
- 指标设置：Frama的参数以及任何回看窗口（lookback window）。除非你明确进行参数搜索，否则回测应保持这些参数固定。
- 计算规则：指标是否使用你后续评估的同一根K线收盘价进行计算，以及你如何处理需要预热历史数据的初始K线。
- 规则定义：如果你评估“信号质量”，请明确定义确切的决策逻辑（例如，测试是评估交叉行为、阈值判断，还是状态过滤）。不要将“指标方向”视为通用的独立信号。
接下来，以符合你假设的方式建模成本和执行。即使没有实时点差，你也可以将摩擦项作为常量占位符包含在内（例如，每次进出的固定交易成本），并说明这些是假设。
在相同框架中需要考虑的成本包括：
- 交易成本（佣金、费用）。
- 买卖价差或滑点模型（你如何近似条形图价格与实际交易价格之间的差异）。
- 订单执行时机（你是否假设在下一根K线开盘、收盘时执行，或有固定延迟）。
最后，选择能反映你所提问题的指标。示例包括风险调整后的绩效代理指标、最大回撤、命中率或平均不利波动。关键是在运行测试之前就定义好这些指标。
证据与示例：如何设计减少偏差的检查
在指标回测中一个常见的失败模式是过拟合：测试找到一种与某一历史周期匹配的配置，但无法泛化。
两种实用的偏差控制方法：
-
前向滚动（滚动）验证
- 将历史数据划分为多个连续的区段。
- 使用较早的区段选择或确认参数设置，然后在下一个区段上进行评估。
- 重复此过程并汇总结果。
-
严格的样本外保留
- 保留一个最终时间段，该时间段从不用于选择参数或制定规则。
- 只有在规则固定后，才在保留数据上进行评估。
如果你进行参数探索（例如，改变Frama的回看周期），请将“寻找”与“测量”分开。负责任的工作流程将测量步骤视为对泛化能力的最终测试。
还应测试稳定性：
- 检查绩效是否严重依赖于某一市场状态。
- 在多个时间段以及可行的情况下多个标的上重复评估。
- 将结果与简单基准（例如被动基线）进行比较，以判断任何改进是否显著区别于基本方法所能实现的效果。
应作为首要信息处理的局限性和失败模式
历史回测结果是不确定的。重要局限性包括：
- 市场状态依赖性：一个指标的结构可能仅在波动性和趋势特征与测试所用周期匹配时才有效。
- 成本与执行不匹配：对交易成本、滑点或时机的假设的微小变化，尤其是在频繁交易的策略中，都可能逆转结论。
- 数据伪影：采样差异、缺失K线、不同数据供应商或不一致的K线构建方式都可能改变结果。
- 指标预热和边缘效应：如果未一致处理，初始K线的初始化可能会使结果产生偏差。
- 多重比较和研究者自由度：如果你尝试多种参数设置并寻找“最佳”结果，你偶然发现模式的可能性就会增加。