跳到正文
arXiv cs.AI· Toby D. Pilditch, Konstantinos Voudouris, Alexandra Abbas, Cozmin Ududec·· 9 小时前AI 评分31

Transect:为长周期 LLM 智能体评测保留可观测性

Transect: Retaining Observability for Long-Horizon LLM Agent Evaluations

AI 导读

开源工具包 Transect 发布,基于 Inspect Scout 构建,用于分析长周期 LLM 智能体评测记录。它通过可复用的评测族配置指定任务上下文与行为词汇,将事件、token 用量、子智能体活动和模型生成的行为标签对齐到统一的回合时间线上,支持标签溯源与数据表导出。

来源:arXiv cs.AI · arxiv.org