热点事件持续更新

新研究提出Semi-OPD离线蒸馏方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Siyan Zhao等作者提出 Semi-OPD 蒸馏方法：用初始学生模型生成的离线 rollout 进行蒸馏，而非依赖 on-policy distillation（OPD）的在线学生 rollout。在 17 组参数规模从 1.5B 到 235B 的师生模型对上，Semi-OPD 在 14 组中准确率优于 OPD，最高提升 13.6%，并带来 11.4 倍训练加速。作者称该方法在准确率和训练效率上往往都能超过 OPD。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道，了解事件的不同侧面。

10月9日

12:00
arXiv cs.CL
何时需要 On-Policy Distillation？用离线学生 rollout 蒸馏往往更好
研究对比了 on-policy distillation（OPD）与 Semi-OPD——后者用初始学生模型生成的离线 rollout 进行蒸馏。在 17 组 1.5B 至 235B 参数的师生模型对上，Semi-OPD 在 14 组中优于 OPD，最高提升 13.6% 准确率并带来 11.4 倍训练加速。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。