7.3 一人多角的偏差与对策

偏差从哪里来#

一心行动的验证里，有四个角色可能重叠在一个人或一个系统身上：

这些偏差的方向一致：都让结果看起来比实际更好。〔推断〕

对策#

一、预注册#

预注册 （Nosek 等, 2018）：在实验开始之前，写下要检验什么、怎样测量、预测是什么、什么结果算失败，并且留下时间戳。事后不能改。

v3 的路线图（6.6）已经为每个实验写了预测和停止条件。开始一个实验时，把它们复制一份、带上日期存档，就是一次轻量的预注册。〔本文提议〕

二、自动计量#

能由代码从事件流计算的指标，就不让人或 AI 判断。北极星的「是否触达」由动作类型判定（6.7），周复盘时人只抽检几条。

三、盲评#

需要判断的地方（例如「这次触达有没有改变决定」「这个模型元素是否贴近实际」），交给一个不知道当前处于哪个实验阶段的评估者：可以是另一个模型的新会话，只给它去掉了阶段标记的记录。

不要让参与执行的 AI 模块评价自己的产出（自我偏好），也不要让它评价用户是否进步（迎合）。

四、替代解释清单#

每个实验结束时，强制写出至少三个替代解释，并说明为什么排除或不能排除。常见的有：

1. 那段时间本人的时间和精力变化了；
2. 外部出现了机会或阻碍；
3. 新奇效应：任何改动刚上线时都会有短期提升；
4. 测量反应性：知道被测而改变行为；
5. 均值回归：在最差的时候开始干预，自然会好转。

五、足够长的阶段#

新奇效应通常在几周内消退。所以，判断一个改动是否有效，至少要看 4 周。〔推断，具体时长待测〕前两周的提升不能单独作为证据。

六、外部视角#

本人自己的判断，配合一个外部参照：同类改动在其他产品或研究里的效果有多大（参考类 （Flyvbjerg, 2006））。如果自己测出的效果远大于外部参照，要先怀疑测量。在线实验的经验是：大多数产品改动的真实效果都很小，看起来很大的效果往往是测量错误 （Kohavi, Tang & Xu, 2020）。

不要做什么#

• 不要用 AI 生成的复盘结论当证据。这和产品已有的 G4 规则（复盘结论不算新证据）一致〔产品，M6〕。
• 不要因为一个实验失败就推翻整个理论，也不要因为一个实验成功就认为理论成立。理论层的判断需要多个实验的汇总（第 7 部分）。
• 不要为了实验结果好看而调整指标的定义。指标定义在实验周期内冻结。