如何测试信号提供商的尽职调查？
信号提供商尽职调查：可测试的含义
信号提供商的尽职调查是检查其声称或观察到的表现是否在现实假设下具有可信且可重复支持的过程。测试它的含义是将尽职调查的每一部分视为一个可证伪的命题，而不是简单的“是/否”印象。
一个有用的框架是：“如果该提供商的信号价值超过了噪声水平，那么在控制成本、执行和市场条件的情况下，其表现应保持相对强劲。” 相反，如果你在应用一致的基准或合理摩擦后结果消失，则该主张的可信度会降低。
机制：你可以测试的内容与必须假设的内容
首先将稳定机制与可变条件区分开来。
1) 稳定机制（测试目标）
这些是你可以用明确规则建模的提供商关系部分：
- 信号到交易的映射：信号如何转化为执行请求（时机、订单类型、仓位大小）。
- 执行假设：滑点、点差和延迟影响，作为范围或情景建模。
- 风险核算：提供商的历史结果是否反映了可比的头寸规模、回撤处理和持仓限制。
2) 可变条件（测试干扰因素）
这些会随时间变化，可能使结果看起来更好或更差：
- 市场状态变化（波动性、趋势与区间行情、流动性状况）。
- 提供商行为漂移（方法或纪律的变化）。
- 选择偏差（例如，如果仅展示成功的信号，则存在幸存者偏差）。
3) 每项计算的假设
任何绩效测试都依赖于假设。先写下这些假设，然后测试其敏感性：
- 成本模型：将佣金、点差和滑点视为具有合理范围的参数。
- 交易约束：假设现实的订单成交行为（或保守建模）。
- 基准选择：定义一个基准，仅当存在附加价值时，提供商才应超越该基准。
证据与示例测试：假设、基准、数据划分与成本
实用的测试工作流程可以始终基于相同的核心组件构建。
步骤 A：提出假设
可测试假设的示例（不承诺盈利）：
- H1：“在扣除成本和执行假设后，提供商的风险调整后收益超过定义的基准。”
- H2：“表现不限于某一时间段；在多个市场状态下仍保持显著正向。”
- H3：“提供商的优势对点差/滑点和执行时机的合理变化具有韧性。”
步骤 B：选择基准
基准至关重要，因为原始收益可能具有误导性。尽职调查测试中的基准选项包括：
- “无技能”分布（例如，在相同执行规则下随机排列信号）。
- 提供商声称交易的市场代理（必须一致定义确切代理）。
- 使用相同数据但移除所声称信号逻辑的更简单替代策略或固定规则方法。
你的基准应在与提供商结果相同的成本模型和执行映射下计算。
步骤 C：使用匹配你所担忧失败的数据划分
历史表现可能因过度拟合或巧合而显得强劲。通过使用反映真实决策时机的划分来缓解此问题：
- 基于时间的划分：在较早时间段训练/建立假设；在后续未见时期评估。
- 滚动窗口：在连续时间段反复评估以查看稳定性。
- “净化”逻辑（当信号重叠时）：如果信号依赖于先前结果，确保评估不泄露信息。
步骤 D：明确包含成本与执行
许多尽职调查失败源于忽略摩擦。至少测试三种成本情景：
- 低成本：乐观但仍明确。
- 中等成本：你的核心假设。
- 高成本：保守摩擦。
如果结果仅在低成本情况下看起来有利，则该尽职调查的可信度较低。
稳健性检查与需关注的失败模式
至少应主动测试一种实质性的局限性或失败模式。
1) 过度拟合与前瞻偏差
如果使用完整数据集调整参数，表现可能被夸大。测试修复方法：
- 使用未用于选择假设或过滤器的严格评估窗口。
2) 状态依赖
提供商可能仅在市场以特定方式运行时表现良好。测试修复方法：
- 根据波动性/趋势特征分组的时段比较结果（使用一致、预定义的规则）。
3) 成本敏感性
如果点差/滑点的微小变化消除了优势，则尽职调查主张脆弱。测试修复方法：
- 在合理参数范围内运行敏感性分析。
4) 幸存者偏差与报告偏差
如果仅展示成功结果，则对可用数据的测试可能高估能力。测试修复方法：
- 验证数据集是否涵盖该期间生成的所有信号，而不仅是有效的信号。
5) 执行现实不匹配
提供商的回测可能假设无法实现的成交。测试修复方法：
- 使用保守的成交假设，并明确记录你的模型中“成交”的含义。
验证与你可以独立提出的后续问题
要独立验证信号提供商的尽职调查，请提出直接关联你所运行测试的问题：
- 你是否在计算结果前定义了假设（成本、映射、约束）？
- 你是否使用了基于时间的划分，以确保评估未暴露于未来信息？
- 你是否在使用相同成本和执行规则的基准上进行了比较？
- 你是否测试了对执行变化和市场状态变化的稳健性？
- 如果结果较弱或不稳定，你是否识别出最能解释它的失败模式？
当尽职调查测试产生可理解且可重复的证据链时，即为成功。如果另一位分析师无法复现你的假设、划分和比较，则该测试尚不可靠。
还需考虑，历史关系不能确立未来结果，且结果会因市场状况、成本、执行和司法管辖区而异。因此，尽职调查测试应被视为持续验证，而非一次性结论。