1.4 人机协作带来的新失败机制
人和 AI 一起工作，不会自动比各自单干更好。（Vaccaro, Almaatouq & Malone, 2024） 对 106 项研究、370 个效应量做了元分析，发现平均而言，人机组合的表现差于两者中较好的那一方；在决策类任务上有损失，在内容创作类任务上有收益，并且可能存在发表偏差。B
这说明人机协作本身会引入新的失败机制。下面 11 个机制，有的在人和 AI 一起工作时才出现，有的原本就有，但会被 AI 放大。
H1 自动化偏差#
- 表现：AI 给了建议，人不加核实就采纳，包括错误的建议。
- 机制：自动化偏差与自满〔理论〕（Parasuraman & Manzey, 2010；Goddard, Roudsari & Wyatt, 2012）：人倾向于把自动化的输出当作启发式的替代品，减少对其他信息的搜索和核实。（Buçinca, Malaya & Gajos, 2021） 发现，用「认知强制」设计（如先让人自己判断，再显示 AI 建议）能减少过度依赖，但用户不喜欢。
- 证据：B。
- 对策：P24 信任跟着记录走；高后果决定先让人判断。
H2 算法厌恶#
- 表现：AI 犯过一次错，人就不再信它，哪怕它整体比人准。
- 机制：算法厌恶〔理论〕（Dietvorst, Simmons & Massey, 2015）：看到算法出错后，人对算法的信任下降得比对人的信任快。但 （Logg, Minson & Moore, 2019） 也发现了「算法欣赏」：在某些任务上，人更愿意听算法的。两种倾向都是失准的信任。
- 证据：B。
- 对策：P24：信任由可靠性记录决定，而不是由最近一次印象决定。
H3 去技能化#
- 表现：AI 替人做了一段时间之后，人自己不会做了；AI 一出问题，人接不住。
- 机制：自动化的反讽〔理论〕（Bainbridge, 1983）：自动化接管了常规部分，留给人的是最难的异常处理，而人因为缺乏练习，恰恰最不擅长处理异常。（Bastani 等, 2025） 的高中数学实地实验：练习中使用 GPT 的学生成绩大幅提高（基础版 +48%，带辅导护栏的版本 +127%），但之后不能用 AI 的考试中，基础版组比对照组低 17%，带护栏的版本与对照组持平。
- 证据：B。
- 对策：P20 每次协助都留下更强的人。
H4 谄媚、回声与自我偏好#
- 表现：AI 顺着人的想法说；AI 评估 AI 的产出时打高分；人和 AI 互相确认，形成闭合的回声室。
- 机制：谄媚 （Sharma 等, 2024）；自我偏好 （Panickssery, Bowman & Feng, 2024）；（Huang 等, 2024） 发现，大语言模型在没有外部反馈时，很难靠自我纠正改进推理，有时还会变差。
- 证据：B。
- 对策：P06 AI 不是 AI 的证人。产品的 G3 已经覆盖。
H5 参差前沿#
- 表现：AI 在一些看似很难的任务上表现极好，在一些看似简单的任务上却出错；人无法预先知道哪些任务在 AI 能力边界之内。
- 机制：参差前沿〔理论〕（Dell'Acqua 等, 2023）：对 758 名咨询顾问的实地实验发现，在 AI 能力前沿之内的任务上，用 AI 的顾问多完成 12.2% 的任务、快 25.1%、质量高 40% 以上；在前沿之外的任务上，用 AI 的顾问正确率反而低 19 个百分点〔未核实〕。
- 证据：B 未重复。
- 对策：P23 按比较优势分工，并显示能力前沿。
H6 互补性失败#
- 表现：人和 AI 一起做，结果不如其中较强的一方单独做。
- 机制：人机互补〔理论〕（Vaccaro, Almaatouq & Malone, 2024；Bansal 等, 2021）：只有当人和 AI 的错误不相关、并且人能判断什么时候该信 AI 时，组合才能超过两者中较好的一方。（Bansal 等, 2021） 发现，AI 给出解释反而增加了人对 AI 的接受度，无论 AI 对错。
- 证据：B。
- 对策：P23、4.1 互补性。
H7 协作开销大于收益#
- 表现：用了 AI 反而更慢，而且自己意识不到。
- 机制：开发者随机对照试验〔理论〕（Becker 等, 2025）：16 名有经验的开源开发者完成 246 个真实任务，允许使用 AI 时完成时间增加了 19%；事前预期快 24%，事后仍自认为快了 20%。开销来自提示、等待、审查和修正 AI 产出。
- 证据：B 未重复。
- 对策：P21 注意力预算：AI 消耗的注意力必须少于它省下的。
H8 AI 产出淹没注意力#
- 表现：AI 每天生成大量分析、候选、待确认事项，人光是看完就耗尽了精力，真正的行动反而没时间做。
- 机制：注意力稀缺 （Simon, 1971）：信息丰富导致注意力贫乏。混合主动 （Horvitz, 1999） 主张，AI 是否主动介入，要按「介入的期望收益减去打扰成本」决定。
- 证据：C。
- 对策：P21。
- 产品现状：部分。「每天主动问 ≤2」管住了提问，但信息流的「待确认」队列、候选信念、派生视图没有总量上限。〔推断〕
H9 责任缺口与道德缓冲区#
- 表现：AI 做了一件事出了问题，没人说得清是谁的责任；或者责任全部落在离决定最近、却没有真实控制权的人身上。
- 机制：责任缺口〔理论〕（Matthias, 2004）；道德缓冲区 （Elish, 2019）：在人机系统里，人常被放在「承担责任但没有控制」的位置。有意义的人类控制 （Santoni de Sio & van den Hoven, 2018） 提出追踪和溯源两个条件。
- 证据：N。
- 对策：P25 责任链、可中断、可撤回。
H10 授权失配#
- 表现：给 AI 的授权超过了它的可靠性（出事），或者远低于它的可靠性（白白浪费人的注意力去审批）。
- 机制：自动化等级〔理论〕（Parasuraman, Sheridan & Wickens, 2000；Sheridan & Verplank, 1978）：自动化的等级应按任务阶段和后果分别设定；对自动化的信任 （Lee & See, 2004；Hoff & Bashir, 2015）：信任要和可靠性校准，过高和过低都是失败。
- 证据：B。
- 对策：4.2 授权阶梯、S9。
- 产品现状：部分。产品有「可以先做 / 必须等」和名册授权，但「每个单元只能收窄，不能放宽」〔产品，M4 ②〕，可靠性记录和授权之间没有写明的升级规则。
H11 多智能体失败#
- 表现：多个 AI 模块各自看起来都在正常工作，合在一起却出错：重复劳动、互相覆盖、任务在交接中丢失。
- 机制：多智能体系统失败分类〔理论〕（Cemri 等, 2025）：对多个多智能体框架的失败轨迹做分析，归纳出规格与系统设计问题、智能体之间的错位、任务核验与终止问题三大类。
- 证据：C 未重复。
- 对策：4.8 多智能体；产品已有的单一写者和统筹派发（A15、M14）是正确的方向。