arXiv cs.AI· Huaiming Li, Can Huang, Chufan Wu, Danyu Liu, Xiaomin Yuan, Qinze Li, Yui Lo, Wenhui Bai, Qianlong Wang, Zengle Ge, Xiyu Yan, Yuheng Cheng, Jinhui Ren, Guokai Chen, Jiaqun Liu, Haoran Li, Qianhui Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen·· 8 小时前AI 评分31
FDE-Bench：评估智能体在需求不明确真实业务请求中的端到端交付能力
FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests
AI 导读
研究者推出 FDE-Bench，首个基于真实客户项目构建的基准，用于评估智能体在需求不明确业务任务中的交互式需求澄清与迭代优化能力。该基准含 49 个组合优化与机器学习案例，在 18 种智能体配置中最高平均交付得分仅 0.5510（FDE 参考为 1.0），最高交付成功率（DSR）仅 6.12%。
来源：arXiv cs.AI · arxiv.org