arXiv cs.LG· Rong Wu, Daocheng Fu, Yu Yang, Xuemeng Yang, Siqi Li, Shu Zou, Yao Zhu, Botian Shi, Bo Zhang, Cong Zhang, Pinlong Cai, Jianbiao Mei·· 7 小时前AI 评分22
重新审视 On-Policy Distillation 中的相对策略差异迁移
Rethinking Relative Policy Differences Transfer of On-Policy Distillation
AI 导读
研究提出统一视角，将代理专家与代理参考之间的对数概率比定义为 KL 正则化策略优化的隐式奖励，从而导出目标的 on-policy 更新，并将传统 OPD 作为特例恢复，支持跨规模、训练阶段和生成方式的任意模型间迁移。
来源：arXiv cs.LG · arxiv.org