跳到正文
arXiv cs.LG· Akshay Manglik, Vijay S. Kalmath, Jason Qin, Apaar Shanker, Kaustubh Deshpande, Yash Maurya, Veronica Chatrath, Levi Lentz, Yuan Xue·· 6 小时前AI 评分32

Insights Generator:面向 LLM 智能体的语料级执行轨迹诊断系统

Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents

AI 导读

研究者提出 Insights Generator(IG),一个多智能体系统,通过跨执行轨迹语料提出并验证假设,生成有证据支撑的语料级诊断报告。人类专家使用 IG 报告后,脚手架性能较未修改基线提升 30.4 个百分点,编码智能体也获得稳定增益。IG 的 scout-investigator 架构在检测覆盖上与其他方法相当,领域专家评价其报告在深度和证据质量上领先。

来源:arXiv cs.LG · arxiv.org