10.18 AI 对外行动的风险:差错、责任缺口与不可逆
问题#
按 3.8 扩展授权后,AI 模块会直接改变系统之外的世界:发出消息、花钱、做出承诺、改动外部系统。差错会直接落到他人身上;有些行动发出就收不回;出了问题时,「谁负责」可能在模块、引擎、授权人之间来回推。
为什么重要#
自主程度越高,危害越难预见,责任越难追溯(Chan 等, 2023);在现实中行动的系统要避免副作用,探索要限制在可恢复的范围内(Amodei 等, 2016);人只剩签字时会成为道德缓冲区(Elish, 2019);学习型系统会产生责任缺口(Matthias, 2004)。
- 建议〔本文提议〕:①先影子、后真行动:新域先让 AI 模块写出「我会怎样做、预计结果」,由人执行,比较预测与结果,积累 R(m, d) 的证据;②发件箱与撤回窗口:对外行动先进发件箱(Agent/02 已有「发件箱同包」),在撤回窗口后才真正发出;③预算、频率与对象白名单写进类授权;④事前预测必须包含不可接受的副作用,结清时一起核对;⑤熔断推广到对外域:一次大偏差或一次被撤回的对外行动就降一级,恢复要重新积累证据;⑥事后复盘不追究「结果不利」,追究「是否越权、是否先预测、是否如实留痕」(与 9.1 的过程问责一致);⑦授予记录具名:法律责任由授予者承担这一点在授予时写明。