跨分词器在线蒸馏：扩大对齐覆盖未必提升学习

一项新研究重新审视跨分词器在线策略蒸馏（OPD）中“扩大对齐覆盖是否提升学习效果”的问题。作者 Bingxi Hou 等称，严格 1:1 对齐已覆盖大部分学生生成 token，进一步扩大覆盖并未带来相应收益。 研究提出，将 reverse KL 限制在共享词表的 top-16 子集，即可达到与全共享词表 OPD 相当的准确率，并优于所评估的跨分词器基线。这一结果把关注点从对齐覆盖率转向监督可靠性。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。