7.2 过程追踪与贡献分析

数字变了，还不够#

单被试设计能回答「改动之后，指标变了没有」。它回答不了：是不是因为我们以为的那个原因变的？

例如，北极星切换（S5）之后触达闭环数上升了。可能的原因有：

这四种解释对产品的含义完全不同。区分它们，需要过程追踪。

过程追踪〔理论〕（Collier, 2011；Beach & Pedersen, 2013）把一个因果主张拆成一串中间环节，再逐个找证据。证据按它的检验力分为四种（Collier, 2011）：

检验	通过意味着	不通过意味着	一心行动的例子
风向稻草	稍微支持	稍微削弱	本人在周复盘说「这周更想去碰现实了」
环套检验	只是保住了假设	假设被推翻	如果 S5 通过「选择」起作用，被选中的候选里触达的比例必须上升；没上升，这个机制就不成立
确凿证据	强力支持	不能推翻	记录显示本人明确地因为新指标放弃了一个建模任务、改选了一个触达任务
双重决定	强力支持且排除对手	推翻	很少见；例如新指标只在一个目标上显示，而触达只在那个目标上增加

环套检验最有用：它告诉我们「如果这个机制是真的，什么必须被看到」。看不到，就可以放下这个解释。

贡献分析〔理论〕（Mayne, 2012）适用于「影响结果的因素很多，无法做对照实验」的情况。它不问「结果是不是完全由改动造成的」，而问「有没有足够理由相信改动做出了贡献」。步骤是：

v3 在 6.4 里给每条建议写的「依据—预测—撤回条件」，就是一份简化的变化理论。

现实主义评估〔理论〕（Pawson & Tilley, 1997）认为，一个干预在不同情境里会触发不同的机制，所以要问的不是「它有没有用」，而是「在什么情境下、通过什么机制、对谁有用」。

对一心行动来说，这意味着记录每个实验时，要同时记下情境：本人当时的时间和精力、目标所在的策略象限（2.4）、领域。同一个改动，可能在转化象限的目标上有用，在规划象限的目标上没用。

发展性评估〔理论〕（Patton, 2011）是为复杂、变化中的创新设计的：评估者嵌入开发过程，提供快速反馈，目标是帮助创新成形，而不是在最后给出「有效 / 无效」的总判决。

一心行动目前处在这个阶段。所以 v3 建议：路线图的实验结果每周回流到产品决策，而不是等到攒够数据再做总结。〔本文提议〕但要防住一个风险：每周都调整，就永远凑不齐一个干净的阶段。折中办法是：主指标的定义在一个实验周期内不变，产品的其他部分可以继续迭代，但要记录每次改了什么。