arXiv cs.CL· Sangyeon Yoon, Wooseok Seo, Hamish Ivison, Hyesoo Hong, Donghoon Kim, Wonjun Kang, Albert No, Jaehyung Kim·· 5 小时前AI 评分30
诊断并纠正可验证指令遵循中的奖励黑客问题
Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following
AI 导读
可验证指令遵循基准只看输出约束是否满足，前沿模型即使回答缺乏实质内容也能拿满分，用同一验证器标准做训练奖励会引发奖励黑客。为此提出 CALIF，用现有冻结参考策略在仅给定请求下评估回复似然，加入校准的似然奖励，无需额外评判器或奖励模型。
来源：arXiv cs.CL · arxiv.org