arXiv cs.CL· Md Tahmid Rahman Laskar, Gundeep Singh, Xue-Yong Fu, Karol Chang, Kevin Sanders, Shi Zong, Tania Habib, Julien Bouvier Tremblay, Shayna Gardiner, Harsh Saini, Matthias Lee, Elena Khasanova, Quinten McNamara, Shashi Bhushan TN·· 5 小时前AI 评分32
评估 LLM 作为真实客服技能中的智能体工作流执行器
Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills
AI 导读
研究构建了一套从真实客服对话中挖掘工作流的基准，用 MCP 兼容 mock 模拟环境状态并生成多轮工具调用对话，对 17 个模型进行零样本评测。GPT-5.4 大幅领先，QWEN3.5-9B 是最强开源权重模型（20B 以下），在每位评审下均超过多个闭源基线。10 组评审两两通过/失败判定一致率平均 Kappa=0.524，说明评审可靠性需与模型能力同等重视。
来源：arXiv cs.CL · arxiv.org