热点事件持续更新

客服工作流基准发布评测17个模型

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究团队发布了一套客服技能智能体工作流基准，从真实客服对话中挖掘高频工作流，转成结构化技能描述并映射到工具需求，再用兼容 MCP 的 mock 模拟环境状态、生成多轮工具调用对话，对 17 个语言模型做零样本评测。结果显示 GPT-5.4 大幅领先，QWEN3.5-9B 是 20B 以下最强的开源权重模型，在每位评审下均超过多个闭源基线。作者同时指出，10 组评审两两通过/失败判定的一致率平均 Kappa 仅 0.524，评审可靠性需与模型能力同等重视。

AI 根据报道生成 · 3 小时前更新

最新进展10月15日 12:00

评估 LLM 作为真实客服技能中的智能体工作流执行器

报道时间线

沿着报道，了解事件的不同侧面。

10月15日

12:00
arXiv cs.CL
评估 LLM 作为真实客服技能中的智能体工作流执行器
研究构建了一套从真实客服对话中挖掘工作流的基准，用 MCP 兼容 mock 模拟环境状态并生成多轮工具调用对话，对 17 个模型进行零样本评测。GPT-5.4 大幅领先，QWEN3.5-9B 是最强开源权重模型（20B 以下），在每位评审下均超过多个闭源基线。10 组评审两两通过/失败判定一致率平均 Kappa=0.524，说明评审可靠性需与模型能力同等重视。

本事件热度走势

可比范围当前: 9
可比范围峰值: 1010月15日 13:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。