arXiv cs.LG· Kai Ruan, Jinghao Lin, Tao Chen, Ziqi Zhou, Qianshan Wei, Zihe Huang·· 7 小时前AI 评分22
长时程 RL 需要 Muon:单轨迹异步训练配方提升仓库级问题解决成功率
Long-Horizon RL Needs Muon
AI 导读
一项研究提出面向长时程智能体的单轨迹异步训练配方,将 Muon 优化器与 token 平均损失、截断重要性采样以及长度和工具错误辅助惩罚项结合,无需等待同一问题的多条轨迹即可异步学习。在两个模型族上的仓库级问题解决训练中,完整配方的训练成功率高于基线。该工作为 7 页、5 图,仍在进行中。
来源:arXiv cs.LG · arxiv.org