arXiv cs.AI· Haowei Guo, Baolong Bi, Ruicheng Zhang, Cong Li, Bingqian Sun, Zhonghai Wu·· 6 小时前AI 评分22
自在线策略蒸馏中教师何时更新？隔离期与 CGTR 刷新门控机制
When Should the Teacher Move? Temporal Coupling and Stability in Self On-Policy Distillation
AI 导读
在 Qwen3-8B 上的受控调度扫描显示，教师更新之间的完全冻结（隔离期）才是稳定学习的关键结构属性，而非教师年龄。研究提出时序 KL 结构、刷新冲击与长度尾部风险诊断框架，并揭示"状态无视崩溃"：短视界最优固定调度在长视界训练中会因时钟驱动的刷新将瞬时漂移的学生一次性复制进教师而灾难性失败。
来源：arXiv cs.AI · arxiv.org