如何验证关于验证问题的信息?
在验证之前先定义概念
“验证问题”是指信息主张难以确认的情况,因为定义、数据或程序不清晰或不一致。当人们混淆了被主张的内容(陈述)与决定结果的因素(输入和条件)时,验证就会失败。
首先将主张改写为可测试的形式:
- 到底断言了什么(例如,某个指标、因果解释或程序结果)?
- 哪些输入必须为真,该主张才能成立?
- 什么才算支持或反驳它的证据?
建立可解释的信息源层级
使用信息源层级,以便你能说明为何某些信息比其他信息更可验证。
-
原始或权威描述 使用直接的官方材料来定义术语和流程(例如,监管规则、央行出版物、官方统计数据,或你所研究系统的已记录方法)。如果一个主张依赖于变动的目标(政策、可用性或规则),“正确”的来源是最新的官方文本,而不是次要摘要。
-
方法论解释 当原始材料技术性较强时,依赖专注于方法的独立解释:测量如何定义、需要哪些假设,以及结果应如何解读。
-
次要解读 在能追溯到定义性文件或可复现程序之前,将评论和摘要视为假设。
通过明确假设使验证可复现
验证步骤应能让没有特殊背景的读者也能复制。使用相同的输入、单位和定义。
一个可复现的示例通常包括:
- 输入: 使用的数据字段或参数。
- 假设: 被视为恒定的内容(例如,固定费用、执行成本模型或时间安排)。
- 计算方法: 精确的程序和公式,或有文档记录的算法。
- 舍入与检查: 如何处理小数,以及在微小变化下结果是否一致。
然后通过一次更改一个输入来进行“合理性测试”。如果结论仅在一种非常特定的设置下才成立,这就是一个警示信号。
区分稳定机制与可变条件
解释中的某些部分通常是稳定的(定义、测量逻辑、成本核算),而其他部分则会变化(条件、执行细节,以及信息生成的具体环境)。
良好的验证实践是为每个元素打标签:
- 稳定机制: 可在无需时间敏感细节的情况下解释。
- 可变条件: 取决于你必须独立确认的上下文。
如果一个来源将这两者混在一起,你就无法可靠地验证该主张,因为即使稳定机制正确,改变条件也可能导致不同的结果。
至少识别一种失效模式
验证问题通常因可预见的问题而失败:
- 定义不匹配: 主张使用一个术语的含义,而证据使用另一个。
- 遗漏成本或摩擦: 结果忽略了相关组成部分(例如,费用或执行相关影响),造成误导性比较。
- 隐藏假设: 程序依赖于未声明的时间、抽样或系统行为。
- 过度泛化: 将历史关系视为未来必然适用。
任何验证尝试都应说明你正在防范哪种失效模式。
验证的局限性及下一步检查内容
验证不能保证正确性;它只能减少不确定性。结果会随条件、成本和执行细节而变化,历史关系并不能确立未来结果。要验证“相关事实”,应关注定义、输入和程序是否完全明确,以及你的检查在合理替代输入下是否仍然成立。
接下来,请问:
- 另一位读者能否在相同声明的假设下复现你的程序?
- 你的主张与证据定义之间是否有清晰匹配?
- 哪个最小的改变会使该主张失效?
如果答案是“未知”,则验证问题尚未解决;它需要更清晰的定义、更完整的假设,或更权威的资料来源。