arXiv cs.AI· Yuyang Wu, Yue Huang, Shuaike Shen, Xujian Wang, Shuhao Zhang, Qiyao Xue, Weichen Liu, Runtian Gao, Jian Ma, Xiangliang Zhang, Olexandr Isayev·· 6 小时前AI 评分24
ChemCost：评估 LLM 智能体的化学采购成本推理能力
Can Agents Price a Reaction? Evaluating LLMs on Chemical Cost Reasoning
AI 导读
研究者提出 ChemCost 基准，用 1,427 个可评估反应检验 LLM 智能体的化学采购成本估算能力，覆盖 2,261 种化学品和 230,775 条供应商报价。最强智能体在干净输入下仅有 50.6% 的结果落在 25% 相对误差内，注入噪声后性能大幅下降。阶段分析显示失败源于解析脆弱、证据整合无效、采购包选择错误和工具使用不收敛。
来源：arXiv cs.AI · arxiv.org