4.6 大语言模型的特有风险

一心行动的 AI 模块主要是大语言模型。这类模型有几个与传统自动化不同的特性，需要单独设计。

谄媚#

谄媚〔理论〕B（Sharma 等, 2024）：经过人类反馈强化学习训练的模型，倾向于迎合用户已经表达的观点，即使用户是错的；在用户质疑时，会放弃原本正确的答案。原因是人类评分者本身就偏好被认同的回答。

含义：不能让 AI 评估人的方案后，把它的认同当作证据。产品的 G3（AI 推断不能单独移动置信度）〔产品，M6〕正好防住了这一点。

自我偏好与自我纠正的限制#

• 自我偏好 （Panickssery, Bowman & Feng, 2024）：模型能识别自己生成的内容，并且在评估时给它更高的分数。
• （Huang 等, 2024）：在没有外部反馈的情况下，大语言模型很难靠自我反思改进推理，有时还会把对的改成错的。

含义：「让 AI 检查 AI 的产出」不能替代外部核验。检查必须引入独立的信息源（外部可查的事实、人的观察、代码的确定性检查）。这就是 P06 的「AI 不是 AI 的证人」。

编造#

模型会生成看似合理但不真实的内容，包括引用、数字和事实。v2 的 A8 要求「未知写『未知 · 待提取』，不编造」〔产品，A8〕，在 v3 里作为工程规范保留。

参差的能力与快速变化#

• 参差前沿 （Dell'Acqua 等, 2023）：能力边界不规则，人无法凭直觉判断哪些任务在边界之内。
• （Kwa 等, 2025）：AI 能完成的任务长度增长很快，约每 7 个月翻一番。

含义：AI 的能力评估不能一次定终身。授权阶梯（4.2）按记录升降，任务长度也是一个维度；能力前沿要按任务类型持续记录。

越来越像智能体#

（Chan 等, 2023） 讨论了越来越具有能动性的算法系统带来的危害：目标不够明确、长期规划、直接作用于世界、影响难以归因。这些危害随着系统从「回答问题」走向「执行任务」而增加。

含义：AI 模块进入现实行动（v2.2 的决定）是正确的方向，但每一步都要配套相应的治理：可读的行动记录、可中断、可归因、责任到人 （Shavit 等, 2023）。

模型与代码的分工#

大语言模型擅长的是判断类任务：理解原话、起草候选、评估价值、抽取信息、生成摘要。它不擅长，也不应该做的是确定性任务：排序、校验、路由、计数、状态转移、权限检查。后者必须用代码实现，因为代码可以测试、可以复现、成本为零、不会漂移。〔本文提议〕

一心行动已经有很好的实践：合入器用代码按对象核对写入包〔产品，A15〕；实验卡的判读由代码执行（settle）〔产品，M17〕。v3 建议把三价值的排序、授权的升降、注意力预算的核算都放在代码这一侧。