arXiv cs.AI· Michael Kleinman, Matthew Trager, Alessandro Achille, Wei Xia, Stefano Soatto·· 9 小时前AI 评分29
e1:学习推理努力程度的自适应控制
e1: Learning Adaptive Control of Reasoning Effort
AI 导读
研究者提出 Adaptive Effort Control,一种自适应强化学习方法,训练模型按用户指定的 token 比例(相对于当前平均 CoT 长度)分配推理量,无需按数据集和阶段调超参。用户在推理时通过连续 effort 参数动态调节成本与准确率的权衡,模型会自动按任务难度分配资源。在 1.5B 至 32B 参数规模上,数学任务中 CoT 长度在准确率匹配下较基座模型缩短 1.9-3.7x。
来源:arXiv cs.AI · arxiv.org