P09 小、真、可逆优先,不可逆的加闸
表述:优先选择小的、碰到现实的、可以撤回的动作;不可逆的动作(公开承诺、花钱、签约、以本人名义对外)加闸,加闸的强度与后果相称。
依据#
- F3.3 错判可逆性:实物期权 C(Dixit & Pindyck, 1994;McGrath, 1999)。
- F2.2 规划谬误:小步能更早暴露估计错误 (Buehler, Griffin & Ross, 1994)。
- 效果推理 的「可承受的损失」原则 (Sarasvathy, 2001)。
对产品的含义#
- 每个候选标注可逆性:可逆、半可逆、不可逆。〔本文提议〕
- 保留:对外发送、花钱、以本人名义承诺默认必须等〔产品,M4 ②〕。v3 把它读作「不可逆动作的闸」,而不是「AI 不能对外」的固定规则(与 P13 一致)。
- 对系统内部可逆的动作,去掉多版契约、逐版授权一类的重治理(与 P26 一致)。
- 闸对 AI 侧同样适用,但方向是保护人,而不是替人决定。在 2.6 的地形图像里,不可逆的后果(健康、资产、关键关系)是悬崖。AI 模块发现人的某个行动正走向悬崖时,可以警告并加闸(要求人再确认一次),但不阻断人自己的行动:主人层归人(P22)。〔本文提议〕
反模式#
- 可逆的小试探被当作重大决定反复权衡(治理过度)。
- 不可逆的承诺被当作小事随手做(治理不足)。
检验#
- 不可逆动作的事前确认率 100%;可逆动作的平均审批次数接近 0。
与 v2 的关系#
部分对应 A13(保护性不对称:只在保护方向用推测)。