arXiv cs.CL· Linhao Zhong, Bozhen Fang, Xuehao Wang, Duochao Shi, Zekai Luo, Guangming Yao, Yi Yuan, Hao Chen, Jingdong Chen, Chunhua Shen·· 5 小时前AI 评分27
更多方法就更好吗？智能体强化学习自蒸馏方法的现实检验
More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
AI 导读
一项研究在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 上对比了十种代表性自蒸馏方法与 GRPO，覆盖三种模型规模，共完成 132 次训练、累计 12,124.4 H800 GPU-hours。结果显示，各方法相对 GRPO 的增益范围有限，没有一种方法能在所有设置下稳定胜出；出色的最终性能还可能掩盖训练不稳定，而额外训练成本也未必换来更好表现。
来源：arXiv cs.CL · arxiv.org