研究揭示多目标对齐跨目标干扰并提出COVER

一项 arXiv 论文研究了大语言模型多目标对齐中的"跨目标干扰"现象：标量化训练往往只提升部分目标，另一些目标反而退化。作者称这是首次对多目标 LLM 对齐中标量化算法的系统研究，并指出该现象普遍存在，但强弱因模型而异。 为缓解干扰，作者提出 COVER（协方差下限强制重加权）控制器，仅在某个目标的奖励与标量化分数的协方差低于阈值时提高其权重。实验显示 COVER 能缓解干扰，而在各目标已协同改善时，其表现与线性标量化持平。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。