arXiv cs.AI· Ankit Sonthalia, Haritz Puerto, Alexander Rubinstein, Martin Gubri, Seong Joon Oh·· 9 小时前AI 评分44
BOTTLED 基准：LLM 智能体能否把通用能力"装瓶"成廉价可复用方案？
Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?
AI 导读
研究者提出 BOTTLED 基准，让 LLM 智能体在固定时间、算力和 API 预算下自主处理整个未标注工作负载，可选择训练小模型或编写可复用程序。在十款模型、三项任务中，强零样本表现并不能可靠转化为强"装瓶"能力，60 次运行中有 48 次低于其零样本性能 95% 置信区间下限，31 次不及同等 token 预算下两种小模型蒸馏基线中较强的一个。
来源：arXiv cs.AI · arxiv.org