新基准BOTTLED评估LLM智能体装瓶能力

研究者 Ankit Sonthalia 等提出并发布 BOTTLED 基准，用于评估 LLM 智能体能否在固定时间、算力和 LLM API 预算下，自主处理整个未标注工作负载，方式可以是训练小模型或编写可复用程序，即把通用能力“装瓶”为廉价可复用方案。 在十款模型、三项任务中，强零样本表现并不能可靠转化为强“装瓶”能力：60 次运行中有 48 次低于其零样本性能 95% 置信区间下限，31 次不及同等 token 预算下两种小模型蒸馏基线中较强的一个。

AI 根据报道生成 · 7 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。