arXiv cs.CL· Mayug Maniparambil, Ayush Rai, Ekansh Verma, Noel E. O'Connor, Fergal Reid·· 2 小时前AI 评分26
只会打分的教师不会搜索：面向推理的批判条件化在线策略自蒸馏
A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning
AI 导读
研究发现，在线策略自蒸馏中教师模型仅凭参考解打分，其全分布 KL 与 token log-ratio 信号既无法定位学生 rollout 中的错误，也无法将概率推离错误 token，甚至难以区分同一问题下正确与错误的 rollout。
来源：arXiv cs.CL · arxiv.org