绩效指标常见的错误有哪些?
会破坏绩效指标的常见误解
绩效指标是用于描述某项活动结果的数字——通常用于在不同时段、账户或方法之间进行结果比较。一个常见错误是将这些指标视为客观事实,而不是依赖于定义、数据选择和假设的输出。
另一个常见错误是将稳定的机制与可变的条件混为一谈。机制指的是公式及其输入项,而可变条件包括市场波动、执行质量、交易成本,甚至测量设置的变化。如果你混淆了这两者,可能会将差异归因于“绩效”,而实际上这些差异只是测量方式不同所致。
机制:指标通常依赖的内容
绩效指标的准确性取决于用于计算它的信息。常见错误包括:
- 在中途更改指标定义(例如在总收益和净收益之间切换)而未记录变更内容。
- 使用不一致的时间窗口(如每日与每周),或将已实现结果与部分或估算值混合。
- 使用正确的公式但输入错误的数据(例如忘记包含费用,或使用与实际成交价不同的价格代理)。
- 在未对齐的数据集之间进行比较(不同的起止日期、不同的采样频率或不同的交易覆盖范围)。
当你包含示例时,应明确说明假设:使用了哪些输入项、成本如何处理、结果是已实现的还是估算的。如果没有这些假设,示例就无法被独立验证。
失效模式的证据与实例
即使指标“正确”计算,仍可能因失效模式而产生误导:
-
存活者偏差与选择偏差
如果仅包含“成功”时期、账户或测试运行,指标可能看起来比完整历史更强。此时指标反映的是选择结果,而非真实绩效。 -
小样本与不稳定的平均值
基于少量事件(如少数交易、少数天数或少数月份)的指标可能剧烈波动。平均值或比率看似有意义,实则可能主要由随机性驱动。 -
绩效与分布形态
两个序列可能具有相同的平均结果,但一个表现为多次小幅盈利和极少数大额亏损。如果你只追踪一个汇总指标,可能会忽略风险暴露中的实质性差异。 -
成本与执行的不可见性
忽略或估算成本会产生过于乐观的图景。执行条件(如时机和成交质量)会影响实际结果,因此基于假设而非记录执行的指标可能内部不一致。
应作为基础知识对待的局限性与风险
绩效指标是描述性的,而非对未来结果的保证。历史关系不能确立未来结果,且结果会随市场状况、成本和执行细节而变化。一个重要的局限是,指标通常将复杂行为压缩为一个或少数几个数字,这可能掩盖驱动因素,使结论显得比实际情况更确定。
基于局限性的中立检查:
- 验证指标定义(输入项、单位、纳入规则)在所比较的各时期之间是否一致。
- 检查指标是否使用已实现的数值和记录的成本,或是否依赖估算。
- 确认数据集的大小和覆盖范围(避免将部分运行与完整运行混合)。
- 区分机制(公式正确性)与条件(环境中发生了什么变化)。
验证与后续问题
如果你想独立验证绩效指标,可以从写下以下内容开始:指标定义、确切输入项,以及任何示例或计算中声明的假设。然后使用相同的假设重新计算,并确认是否得到相同结果。
一个有用的后续问题是:你的指标是用清晰的测量规则回答了“发生了什么?”,还是隐含地被用来论证“将要发生什么?”如果是后者,你应该将不确定性视为指标局限性的一部分,而非事后补充。