跳到正文
热点事件持续更新

研究:对齐训练压制而非抹除模型文化知识

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

一项新研究提出,大模型的安全对齐训练在遇到与训练目标冲突的文化价值时,产生的是“压制”而非“抹除”。作者称这一现象为“对齐否决”。 研究覆盖 16 个中东和北非(MENA)国家、26 个模型和 153 万份人类调查问卷。结果显示,模型拒绝回答时,其内部 logit 分布与人类调查数据的相关性反而强于模型自由生成的答案。 据作者 Pardis Sadat Zahraei 等人称,这表明文化知识仍存在于模型内部,只是在拒绝回答的瞬间被压制。

AI 根据报道生成 · 55 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.CL
    对齐否决:安全训练如何压制 LLM 中的文化知识

    研究覆盖 16 个 MENA 国家、26 个模型和 153 万份人类调查问卷,发现对齐训练与文化价值冲突时发生的是压制而非抹除:模型拒绝回答时,其内部 logit 分布与人类调查数据的相关性反而强于自由生成的答案,作者称之为"对齐否决"。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。