arXiv cs.LG· Jaehui Hwang, Dongyoon Han, Sangdoo Yun, Byeongho Heo·· 10 小时前AI 评分22
Negative-Policy OPD：用负策略 rollout 增强在策略蒸馏
On-Policy Distillation with Negative-Policy Rollouts
AI 导读
研究提出 Negative-Policy OPD（NP-OPD），在 rollout 阶段引入能力更弱的负策略，持续提供负策略偏好但教师不偏好的 token，使其始终处于教师监督之下，从而在保留正向教师监督的同时补充显式负向信号。实验显示 NP-OPD 在多种模型规模、生成模式、推理领域和不同 OPD 变体上均优于 OPD，并能有效抑制负策略偏好的 token、使学生远离负策略。代码将公开。
来源：arXiv cs.LG · arxiv.org