4.8 证据规则 G1–G7:防止 AI 回声(M11)
产品主张#
系统记录带指针按外部可查;部件产出里的事实要引擎亲自核对来源;AI 推断单独不能移动置信度;复盘结论不是新证据;同源不独立;部件惊讶度写可靠性记录;本人数据有边界。
支撑理论与证据#
- LLM 难以自我纠错B(Huang 等, 2024, ICLR):没有外部反馈时,大模型对自己推理的「自我纠错」往往无效甚至变差。G3 的依据之一:AI 的二次分析不是独立证据。
- LLM 自我偏好B(Panickssery 等, 2024):大模型作为评审时能识别并偏爱自己生成的文本。G5「同一模型同一次调用产生的多条信息算一条」的依据。
- 谄媚B(Sharma 等, 2023/2024):AI 助手倾向迎合用户观点。用户的猜想经 AI 复述后不应变成证据(G4「AI 对原话的复述不是新证据」)。
- 自动化偏差与误用AB(Parasuraman & Riley, 1997):人会过度依赖自动化输出。G3 在系统层面先挡住,减少人面对「AI 已经很有把握」的情况。
- 专家意见合成中的相关性统计(Clemen & Winkler, 1999;Genest & Zidek, 1986):来源相关时,简单合成会高估确定性;独立性是合成的前提。G5 的统计依据。
- 信息来源与溯源未分级(W3C PROV-DM, 2013):证据必须带可追溯的来源链。G1、G2 的「可复核指针」。
证据强度#
Huang 2024、Panickssery 2024、Sharma 2023 为近期实证研究(B,模型能力变化快,结论需持续复查);自动化偏差 AB;合成相关性为统计理论。
理论给产品的提醒#
G3 很严格,这是产品最有价值的设计之一。但严格也有代价:AI 读取并核对过的外部资料(G2 已核对)可以移动置信度,这一条在实践中容易被误读为「AI 说的都不算」。建议在界面上把「AI 推断」与「AI 核对过的外部来源」用不同颜色区分。
本页理论卡(6)
在概念 → 理论映射网络中查看全部关系。