一心行动理论体系Wiki

10.18 AI 对外行动的风险:差错、责任缺口与不可逆

问题#

按 3.8 扩展授权后,AI 模块会直接改变系统之外的世界:发出消息、花钱、做出承诺、改动外部系统。差错会直接落到他人身上;有些行动发出就收不回;出了问题时,「谁负责」可能在模块、引擎、授权人之间来回推。

为什么重要#

自主程度越高,危害越难预见,责任越难追溯(Chan 等, 2023);在现实中行动的系统要避免副作用,探索要限制在可恢复的范围内(Amodei 等, 2016);人只剩签字时会成为道德缓冲区(Elish, 2019);学习型系统会产生责任缺口(Matthias, 2004)。

  • 建议〔本文提议〕:①先影子、后真行动:新域先让 AI 模块写出「我会怎样做、预计结果」,由人执行,比较预测与结果,积累 R(m, d) 的证据;②发件箱与撤回窗口:对外行动先进发件箱(Agent/02 已有「发件箱同包」),在撤回窗口后才真正发出;③预算、频率与对象白名单写进类授权;④事前预测必须包含不可接受的副作用,结清时一起核对;⑤熔断推广到对外域:一次大偏差或一次被撤回的对外行动就降一级,恢复要重新积累证据;⑥事后复盘不追究「结果不利」,追究「是否越权、是否先预测、是否如实留痕」(与 9.1 的过程问责一致);⑦授予记录具名:法律责任由授予者承担这一点在授予时写明。

在风险矩阵中的位置

对应路线图 X13,难度:中;适用范围:两者。〔推断〕(位置由本网站依第 10、11 章整理)

查看缺口 / 风险矩阵 →

内容来源:《一心行动理论体系》v2.0(2026-10-13)。本站为静态离线 Wiki,所有图表均为内联 SVG,无外部依赖。