跳到正文
arXiv cs.AI· Andrew Zhang, Chengzhan Li·· 1 天前AI 评分22

Agent Step Value:审计黑盒智能体轨迹中的评估通道敏感性

Agent Step Value: Auditing Evaluation-Channel Sensitivity in Black-Box Agent Traces

AI 导读

研究者提出 Agent Step Value(ASV),一种按通道索引的前后目标边际增益指标,用于检验评估器派生的步骤奖励在不同评估通道下方向是否稳定。在冻结的 PubMed 问答状态转移中,跨通道增益符号在 48.3% 的对比中不一致,而同通道重试仅为 0.3%。匹配的 512-token 源契约实验显示,仅源生成可在带伪影检索上恢复正向均值方向,并移除无伪影前状态视图中的解析器检测支持声明。

来源:arXiv cs.AI · arxiv.org