错误追踪有哪些局限性?
在评估其局限性前先定义错误追踪
错误追踪是一种实践方法,即个人记录自己认为是“错误”的决策或结果,然后回顾这些记录,以了解哪里出了问题以及如何改进未来的决策。关键的局限在于:错误追踪的有效性较少取决于“错误”这个标签本身,而更多取决于你如何一致地定义它、测量它,并将真实原因与噪音区分开来。
实际操作中的机制(机制与输入)
一个典型的错误追踪流程包含三个动态部分:
- 定义 什么构成错误(例如,执行错误、规则违反或错误假设)。
- 记录的输入,描述上下文(时间、计划、推理依据以及所使用的数据)。
- 回顾步骤,用于寻找重复出现的主题。
如果其中任何一部分不清晰,结果就会变得脆弱。例如,如果“错误”同时包括决策缺陷和执行问题,那么回顾可能会混合不同类型的问题。如果记录不完整,回顾可能会高估某个原因,仅仅因为它是最容易注意到的那个。
证据式示例:比较可能失效的情况
假设你追踪两个类别:“错误决策”和“执行错误”。在回顾时,你发现大多数亏损发生在决策被标记为“错误决策”时。但如果出现以下情况,这一观察可能是误导性的:
- 当你已经知道结果时,“错误决策”标签被更频繁地使用(这是事后认知偏差效应)。
- 不同情况下的成本不同(费用、点差或滑点),因此“执行错误”可能被低估。
- 市场条件发生变化,导致过去标签与结果之间的关系不再成立。
这说明了一种普遍的失效模式:即使输入不一致、测量边界模糊或基础条件变化,错误追踪也可能制造出看似合理的证据。
局限性与失效模式
1) 来自未观测变量的不确定性
并非每个导致不良结果的原因都会被记录。如果不捕捉相关变量(完整的决策背景、约束条件和执行细节),你就只能推断可能的原因,而无法确定它们。这意味着你的结论应被视为假设,而非事实。
2) 历史关系不能保证未来结果
错误追踪依赖于过去的事件。即使你在历史记录中发现了一个强烈的模式,当市场机制、流动性、波动性或你自身行为发生变化时,该模式也可能减弱。这里的局限是可迁移性:“过去与错误相关的因素”可能在未来不再以相同方式相关。
3) 成本和执行可能主导结果
在你的笔记中看起来相同的两个决策,可能因交易成本和执行条件不同而在现实中产生不同的影响。如果你在比较方法中未包含这些差异,错误追踪可能会错误地将结果归因于决策质量,而实际上主要驱动因素是可测量的摩擦。
4) 定义变化降低可比性
如果“错误”的标准随时间变化,你就失去了可比性。例如,如果你后来变得更严格,早期记录可能低估了错误。这可能使趋势看起来比实际情况更好或更差。
5) 自我报告和事后认知可能导致标签偏差
错误追踪通常依赖你在标记事件时的判断。当你在看到结果后进行标记时,可能会将“做错的事”与“结果不好的事”混淆。长期来看,这可能强化那些感觉一致但与因果因素并无紧密联系的叙事。
验证与可测试的后续问题
为了验证错误追踪真正显示的内容,你可以设置独立于直觉的检查:
- 可复现性:其他人能否对你相同的记录一致地应用你的错误定义?
- 原因分离:你是否区分了决策错误、执行错误以及计划/纪律问题?
- 受控比较:你是否使用相同的测量假设,在相似的背景下进行比较?
- 不确定性处理:你是否将发现视为暂时性的,并在条件或输入变化时更新它们?
一个实用的后续问题是:你的记录中哪些部分是可靠捕获的,哪些部分缺失或主观? 如果最不确定的部分恰好是你得出结论所依赖的部分,那么问题的根源就不是概念本身,而是测量质量。