跳到正文
arXiv cs.LG· Prabhath Chellingi, Raviraja G, Viraj Bagal·· 6 小时前AI 评分31

如何评估智能体框架生成的客户反馈分类体系:从看似合理到真正可用

From Plausible Hierarchies to Useful Taxonomies: Evaluating Agentic Harnesses on Customer Feedback

AI 导读

研究用两个专有客户反馈语料库(1,940 和 5,000 条记录)构建了六套分类体系,其中四套由同一智能体框架在相同输入下重复生成。所有生成树均通过通用命名与结构检查,但每棵树中至少 97.7% 的叶子名称只是复述祖先名称(参考树为 13.9% 和 2.9%),其中一棵树有四分之三的记录落入多个顶级类别。

来源:arXiv cs.LG · arxiv.org