arXiv cs.CL· Jingru Yang, Jinhang Wu, Minjing Shi, Shengfeng He, Xuyan Li, Man Tan, Biye Li·· 2 小时前AI 评分22
CAST:面向跨分词器在线策略蒸馏的信用对齐方法
CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
AI 导读
针对跨分词器在线策略蒸馏中 chunk 级信号无法分配到学生 token、无对应 token 缺乏约束的问题,研究者提出 CAST(Chunk-aware credit Assignment with Selective Token Anchoring)。
来源:arXiv cs.CL · arxiv.org