arXiv cs.AI· Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang·· 5 小时前AI 评分22
重新审视跨分词器在线策略蒸馏：从对齐覆盖率到监督可靠性
Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
AI 导读
跨分词器在线策略蒸馏（OPD）中，严格 1:1 对齐已覆盖大部分学生生成 token，将 reverse KL 限制在共享词表 top-16 子集即可达到与全共享词表 OPD 相当的准确率，优于所评估的跨分词器基线。
来源：arXiv cs.AI · arxiv.org