研究揭示大模型虚假信息审计缺口
热点事件观察中
研究揭示大模型虚假信息审计缺口
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
一项针对8个大模型的研究发现,模型在事实问答中答对,并不代表其下游决策不受虚假信息影响。Lin Tian与Marian-Andrei Rizoiu发表的这项研究将这一现象称为“审计缺口”。 在剂量1000的虚假文档训练下,模型直接注入的选择率高达95.8%–100%,但在决策任务中,注入选择仅比真实对照训练高出1.7–14.4个百分点。在2019–20澳大利亚山火虚假帖文案例中,模型即使没有复现被夸大的数字,仍会断言有人因纵火被捕。 研究据此提出,正确的事实回答不能保证正确的决策,仅纠正事实也无法消除误导性叙事。
AI 根据报道生成 · 14 小时前更新
最新进展10月5日 12:00
研究揭示大模型"审计缺口":事实回答正确不等于下游决策正确报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv cs.CL研究揭示大模型"审计缺口":事实回答正确不等于下游决策正确
一项针对8个模型的研究发现,在剂量1000的虚假文档训练下,模型直接注入选择率高达95.8%–100%,但决策任务中的注入选择仅比真实对照训练高出1.7–14.4个百分点,形成"审计缺口"。在2019–20澳大利亚山火虚假帖文案例中,模型即使未复现被夸大的数字,仍会断言有人因纵火被捕。研究表明,正确的事实回答不能保证正确的决策,纠正事实也无法消除误导性叙事。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。