arXiv cs.CL· Qinglin Su, Licheng Pan, Zhen Fang, Jiakang Wang, Qingnan Ren, Yunsheng Lu, Yan Gao, Zhixuan Chu·· 5 小时前AI 评分22
RM-OPD：用同策略蒸馏训练生成式奖励模型
RM-OPD: On-Policy Distillation for Generative Reward Models
AI 导读
RM-OPD 是一个两阶段框架，通过同策略蒸馏（OPD）训练通用生成式奖励模型（GRM），先以单域 GRPO 微调培养领域专家教师模型，再经路由同策略蒸馏、领域贡献重加权和可选的评判标准上下文蒸馏整合为单一学生模型。在多个 RM benchmark 和两个基座模型上，RM-OPD 一致优于原始 Mix-RL 及其他强基线，并出现"教师超越"效应。
来源：arXiv cs.CL · arxiv.org