arXiv cs.LG· Yuanpu Cao, Saket Sathe, Hanyu Wang, Ziyi Yin, Fenglong Ma, Jinghui Chen·· 7 小时前AI 评分22
ProD：面向小语言模型智能体的进度感知蒸馏方法，缓解推理停滞
Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents
AI 导读
针对蒸馏后小语言模型智能体在长交互轨迹中易陷入无效循环的"进度停滞"问题，研究者提出进度感知蒸馏 ProD，将学生与教师之间的停滞差距编码为自适应 margin 动态惩罚停滞。在 8 个 0.6B 至 8B 参数的 SLM 上、域内与域外基准测试中，ProD 显著缓解停滞并提升成功率与任务完成效率。该工作已被 NeurIPS 2026 接收。
来源：arXiv cs.LG · arxiv.org