P17 判断过程而非结果,按证据强度定步长
表述:评价一个决定,看它在当时的信息下是否合理,而不只看结果;信念更新的幅度取决于证据的强度:普通证据小步走,决定性证据可以大步走,AI 推断不走。
依据#
- F6.4 用结果评判决策:结果偏差 B(Baron & Hershey, 1988);(Duke, 2018)。
- F2.5 恶劣环境里学错:友好与恶劣学习环境 (Hogarth, Lejarraga & Soyer, 2015)。
- 代价信号与显示偏好 B(Zahavi, 1975;Spence, 1973):只有带代价的信号才难以伪装;意图—行为鸿沟 A(Webb & Sheeran, 2006):表态不等于行动。
- 贝叶斯规则:后验比 = 先验比 × 似然比。一条似然比很大的证据(例如外部可查的「不可能」证据)应该移动很多 (Jaynes, 2003)。
- 超级预测者 B(Mellers 等, 2014;Tetlock & Gardner, 2015):好的预测者频繁、小幅地更新,但在证据强时也会果断大幅更新。
对产品的含义#
- 〔建议修改〕「单条证据最多移动一档」改为按证据强度分级〔产品,M6 ⑦、A6〕。v2 已经指出固定上限会让系统对决定性证据反应过慢(v2 10.3)。v3 的建议:
- 决定性证据(外部可查,并且直接证实或证伪信念):可以移动两到三档,需要人确认;
- 普通证据:最多一档(保留现有规则);
- AI 推断:不能单独移动(保留 G3);
- 同源证据:合并为一条(保留 G5)。
- 见 S2。
- 复盘时分开评估「决策质量」和「结果质量」:当时知道什么、考虑了什么、运气占多少。〔本文提议〕
- 关于「有没有人真的要这个」的信念(势能差),证据按代价分级:带代价的行动(付了钱、投入了时间、明确拒绝)是强证据;口头表态(「有兴趣」「挺好」)是弱证据,不能单独把这类信念推到高置信度(2.6)。〔本文提议〕
反模式#
- 一次好结果就认定方法对了。
- 明明有决定性的反证,系统要三四轮才跟上。
检验#
- 事后回看:遇到决定性证据时,置信度在几轮内到位。
- 周复盘中「决策质量」和「结果质量」分开记录。
与 v2 的关系#
修改 A6(有序更新);A5(证据分级)保留。