arXiv cs.CL· Shangyin Tan, Ben Zhou, Lakshya A Agrawal, Jialin Zhang, Yilin Chen, Qiuyang Mang, Donghyun Lee, Dennis Jacob, Koushik Sen, Alex Dimakis, Matei Zaharia·· 5 小时前AI 评分37
让 LLM 智能体学会遗忘:Scaling Discovery Requires Forgetting
Scaling Discovery Requires Forgetting
AI 导读
LLM 智能体做自动化研究时,单智能体长迭代、多智能体并行、并行加通信三种扩展策略都会因历史累积而停滞,智能体被自身过往尝试锚定,编辑越来越少、越来越小。研究者提出"遗忘"机制:周期性丢弃搜索状态(包括每个智能体的会话与候选历史),从当前最优候选重启,在启发式编程、kernel 优化和模型训练四类任务上比并行智能体提升最高 15%,比单智能体提升最高 39%。
来源:arXiv cs.CL · arxiv.org