7.4 检验计划总表
命题的检验#
| 命题 | 设计 | 主指标 | 证伪条件 |
|---|---|---|---|
| 一 触达优先 | 跨目标汇总相关分析,配合多基线 | 每周触达闭环数与里程碑进展 | 控制投入时间后,触达与进展无关,模型规模与进展正相关 |
| 二 三种价值 | 交替处理:三价值排序与单一排序按周交替 | 里程碑进展、主观负担 | 三价值排序在两项上都不优于单一排序 |
| 三 反馈经济 | 观察回报耗时与回报率的关系;再引入一分钟回报 | 回报率 | 不存在拐点;或回报降到一分钟内后回报率不升 |
| 四 节律嵌套 | 观察 | 周复盘中由现实证据触发的修改占比 | 与动作环闭合率无关 |
| 五 情境匹配 | 跨子目标多基线 | 进展速度,按策略象限分开看 | 转化象限上两种做法速度相同 |
| 六 互补性 | 交替:显示能力前沿与不显示 | 采纳 AI 产出的正确率 | 不显示前沿时组合仍稳定优于较好的一方 |
| 七 授权校准 | 按域多基线引入授权升级 | AI 差错率、审批次数 | 升级后差错率上升,或审批负担不降 |
| 八 能动性积累 | 能力回收检查(定期短暂关闭 AI 协助) | 关闭协助后的完成质量 | 有无掌握设计都没有差异 |
| 九 治理相称 | 前后对比,配合过程追踪 | 闭环数、严重差错数 | 严重差错明显增加,或闭环数不增加 |
地形预测的检验#
2.6 从三要素推出三条预测。它们不是第十条命题,而是三要素操作规则的检验:三要素本身近乎定义性,能被数据推翻的是这些规则。〔本文提议〕
| 预测 | 设计 | 主指标 | 证伪条件 |
|---|---|---|---|
| 降坎与势能差有交互效应 | 观察:按「势能差是否已被带代价的行动证明」把目标分两类,比较降坎前后的变化 | 降坎前后的执行率 | 两类目标上降坎的效果相同 |
| 两振规则缩短死目标的停留时间,且不增加反悔率 | 前后对比:引入两振规则之前和之后 | 从第一次卡住到放弃或改写的天数;放弃后 30 天内重启同一目标的比例 | 停留时间没有缩短,或反悔率上升 |
| 针对绑定要素的候选更容易触达现实 | 观察:候选标注作用要素后,比较作用在绑定要素上的候选与其余候选 | 候选被选中后的触达率 | 两者没有差别 |
优先建议的检验#
6.2 的根因诊断,靠优先级 1 的三条建议一起检验:
| 环节 | 内容 |
|---|---|
| 因果问题 | 「目标函数缺少触达项」是不是零闭环的主要原因? |
| 改动 | S5 北极星切换、S11 懒建模、S1 实验卡降为可选,三条一起,其他不动 |
| 设计 | S5 先对全部目标生效(它是测量本身);S11、S1 跨目标错开引入(多基线) |
| 主指标 | 每周触达现实的闭环数;首次触达前置时间 |
| 环套检验 | 被选中的行动中触达的比例必须上升;单次回报耗时必须下降 |
| 替代解释 | 本人时间变化;外部机会;新奇效应;刷指标(看认识兑现率) |
| 预测 | 2–4 周内,触达闭环数明显上升 |
| 证伪 | 触达闭环数不升;或者升了但认识兑现率接近零(触达是刷出来的) |
| 如果证伪 | 回到 第 1 部分,按失败机制总表重新诊断;优先检查 F5(带宽)和 F1(目标本身) |
记录格式#
每个实验留一条记录,字段尽量少〔本文提议〕:
- 编号与名称;
- 开始日期,以及预注册的预测和停止条件(开始前写好);
- 设计(多基线、交替、微随机化、前后对比);
- 每周的主指标(自动计算);
- 结束日期与结论:支持 / 不支持 / 不确定;
- 至少三个替代解释,以及排除情况;
- 对产品的决定:保留 / 修改 / 撤回。