研究揭示激活引导去偏方向编码的是模型置信度

研究分析激活引导所用去偏见方向的实际编码内容，发现该方向由模型置信度主导，在激活空间中指向高概率到低概率 token 区域，而非编码有意义的偏见表征。沿该方向引导虽能降低偏见指标，但实为降低模型置信度所致：在 QA 基准上模型因此拒绝作答，附带改善了公平性指标。研究指出，将偏见线性表征与模型置信度解耦十分困难，基于引导的去偏见结果需谨慎解读。

摘自 arXiv cs.AI

还没有足够的连续观测数据，暂不绘制趋势。