研究:对齐训练压制而非抹除模型文化知识
热点事件持续更新
研究:对齐训练压制而非抹除模型文化知识
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一项新研究提出,大模型的安全对齐训练在遇到与训练目标冲突的文化价值时,产生的是“压制”而非“抹除”。作者称这一现象为“对齐否决”。 研究覆盖 16 个中东和北非(MENA)国家、26 个模型和 153 万份人类调查问卷。结果显示,模型拒绝回答时,其内部 logit 分布与人类调查数据的相关性反而强于模型自由生成的答案。 据作者 Pardis Sadat Zahraei 等人称,这表明文化知识仍存在于模型内部,只是在拒绝回答的瞬间被压制。
AI 根据报道生成 · 55 分钟前更新
最新进展10月12日 12:00
对齐否决:安全训练如何压制 LLM 中的文化知识报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv cs.CL对齐否决:安全训练如何压制 LLM 中的文化知识
研究覆盖 16 个 MENA 国家、26 个模型和 153 万份人类调查问卷,发现对齐训练与文化价值冲突时发生的是压制而非抹除:模型拒绝回答时,其内部 logit 分布与人类调查数据的相关性反而强于自由生成的答案,作者称之为"对齐否决"。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。