研究者提出JOLT联合在线策略学习与教学框架

研究者提出 JOLT 框架，让同一策略同时扮演两个角色：使用 KL 正则化目标的特权教师，以及无特权学生，进行密集同策略蒸馏。其针对的问题是自蒸馏中特权信息可能让学生走捷径、反而损害性能。 据该研究称，JOLT 在数学推理、编程、工具使用和终端使用任务上提升了训练效率与性能，加入学生奖励后还能进一步提升。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。