Test-Time Agent Evolution:面向长程法律推理的免训练智能体测试时进化
研究者提出 Test-Time Agent Evolution 方法,通过 Test-Time Memory Evolution 从既往案例检索可复用经验并适配当前事实与程序语境,再经 Rubric-Aligned Collaboration 按行为与程序要求校验修正各角色行动,实现跨角色协同决策。
研究者提出 Test-Time Agent Evolution 方法,通过 Test-Time Memory Evolution 从既往案例检索可复用经验并适配当前事实与程序语境,再经 Rubric-Aligned Collaboration 按行为与程序要求校验修正各角色行动,实现跨角色协同决策。
ChartBmkAgent 能从稀疏的错误分类规范出发,通过中央 harness 治理多个专用智能体,构建完整的 Chart QA 诊断样本,并要求每个阶段提供与原始错误类别对齐的证据。
研究者推出 DSV-Mem 基准,用于评估 MLLM 智能体的密集有状态视觉记忆,包含专家审核场景和 1000 道题,覆盖 Current State、Past State、Derived State、Change History、Conflict/Refusal 五类。
研究提出多智能体系统的"执行一致性"定义,通过状态使用、信息交接和最终状态一致性等职责判断任务是否被满足。受控移除回执、动作依赖等证据后,82.4% 的对立标签对无法区分,恢复后 97.9% 可分离。基于 CAVERT 框架从日志提取关系并应用该标准,在全部 12 个基准执行器设置中诊断表现优于契约提示 LLM 和规则基线,并在四个环境中优于规则引导恢复。
POLAR 是一个面向小型工具调用智能体的护栏框架,通过结构化双层本体评估动作可逆性,为每个动作生成分级可逆性分数,未达阈值的调用会在执行前被剪枝。在 τ²-bench 上对六种智能体模型评测,POLAR 使其中四个模型在 airline 域的平均任务奖励提升 0.11 至 0.18 分,但十八个模型—领域组合中仅八个整体改善,retail 域及更强模型常出现回退。
研究提出 Self-Retrospection Distillation(SRD),将智能体完成轨迹后的事后经验蒸馏为同一策略在交互前的预见预测,该预见仅作训练目标、推理时无需显式生成。
研究者推出 SPEEDRUNBENCH,一个覆盖 9 款游戏、评估前沿 LLM 智能体策略形成能力的基准,要求智能体反复改进策略、反思表现并长程推理,以不断超越自己和他人。实验显示,前沿智能体在简单平台跳跃游戏中接近人类世界纪录,但在更长、更复杂的游戏上受实际预算限制仍落后于人类。该基准因几乎总存在更快的通关时间而具备抗饱和特性。
DAEDALUS 提出一种无需既有任务或 oracle 验证器、从自生成练习中引导可复用智能体记忆的方法,由生成任务的 explorer 与尝试任务的 solver 配对,将 solver 反复验证成功的启发式规则沉淀为记忆库。
一项研究提出重复运行评估框架,用主题流失率和数量分歧两项指标衡量 AI 智能体处理非结构化数据的可重复性。在 Claude Opus 4.8 与 1000 条记录语料固定条件下,基于分类体系的智能体(TGA)相比原始生成和分层分解将主题流失率降低 86–88%,匹配主题的数量分歧为零。该框架面向客户反馈、财报、法律文档等重复性知识工作场景。
研究者为完整十英雄 MOBA(206 个单位、每 tick 全英雄行动、单局最长 6,000 tick)学习结构化多智能体世界模型,仅用 1,400-tick 自由推演想象回合训练策略,再在真实对局中评测。
HMED(Hindsight Meta-Experience Distillation)通过从同一恢复的发现状态重新执行原版与修订版 Meta-Skills,在共享条件下观察修订带来的变化,并将每次对比蒸馏为可复用的 Meta-Experience。
研究提出 PAIR 流水线构建用户条件化应用状态,并推出 RePAIR 训练方法,从跨用户子目标结果差异中学习以提升可靠性。在六款智能体上,用户条件化 UI 中任务成功率下降 6.98 至 15.4 个百分点,涉及用户个人内容时差距扩大至 8.77 至 22.0 个百分点。RePAIR 在未见用户上将整体 Task SR 提升 9.42 个百分点。
研究者提出 Confidence Reasoning Graphs(CRG),一种推理时框架,仅凭单条轨迹即可估计 LLM 智能体完成任务的成功概率,无需模型内部信号或训练数据。CRG 将任务声明分解为基于轨迹证据的子声明,逐项估计置信度后再聚合为整体置信度。在三个智能体基准、三个骨干模型和三个智能体框架上,CRG 的置信度校准与风险感知决策均优于口头表达、采样和白盒代理基线。
SIGMA 是一套数据生成与训练流程,仅凭一份描述模型期望行为的 Model Spec,让模型自身充当任务设计智能体生成对齐困境场景,并通过监督微调与基于 rubric 的强化学习(模型自身作为奖励模型)实现对齐自我改进。
研究团队提出个性化全量化多目标膳食规划问题(MDP),并开发营养智能体 ShanLiangRen。该系统将饮食规格、营养数据、用户属性与自然语言需求转化为个性化约束规划实例,通过精确检索增强生成缩小候选食材与食谱范围,再由 LLM 在确定性营养计算和约束校验反馈下按 Pareto 原则迭代优化方案。系统输出含明确食材与分量的全量化餐食计划及营养合规报告,已以微信小程序形式上线。
研究者提出"自参照社会偏好"方法,让每个智能体学习自身奖励模型,并将其应用于其他智能体的观测轨迹,从自身视角评估对方结果,再接入标准社会偏好机制。在 Escape Room、Clean Up 和 Commons Harvest 三个序贯社会困境中,智能体无需观察他人奖励即可学会合作,甚至在独立学习失败的环境中也能实现合作,且收益分配常比能获取真实奖励的智能体更公平。
WorkflowOps 是一个多智能体工作流编排框架,能从历史工作流中学习智能体协作先验,并按需扩展智能体池以覆盖新能力需求。它通过转移概率矩阵引导 DAG 工作流构建,并用分层语义匹配策略将 LLM 路由调用减少超 80%。在代码、数学与问答混合测试集上,其端到端通过率优于近期工作流构建基线,在结构化可分解任务上提升最大。
RA-MoWE 通过工作流亲和度嵌入对查询聚类,并据此生成可复用的专家工作流。每个嵌入记录一组固定参考工作流对查询的解决效果,从而揭示推理策略上的相似性;嵌入编码器可直接从查询文本预测该嵌入,让新查询无需先执行参考工作流即可选用专家工作流。
DHCG 框架通过 Planner、Worker、Generator 三个模块,从零逐步构建动态分层协作图,并支持提前终止或按需扩展。在代码生成、数学推理等基准上,其平均性能较单智能体基线提升 13.06 分,优于静态与动态 MAS 基线 2.77-8.02 分。该框架还引入动作感知偏好优化训练 Planner,并展现出跨 Planner 主干与未见 Worker 模型的泛化能力。
研究者提出 Agentic SemS,一个面向 AI-RAN 的闭环语义感知框架,通过 profile 条件化因果 Transformer 和 key-value caching 在通信可行配置集内动态控制感知。
STEPGATE 是一种不确定性感知的步骤级交接框架,对本地小语言模型的每个动作打分,将困难步骤选择性升级到更强模型。在 52 项 BFCL 单步测试中,Qwen2.5-1.5B/7B 组合以 30.8% 升级率取得 82.7% 任务成功率,高于纯本地的 67.3% 和随机升级的 75.4%。
OOPMAS 是一个免训练框架,能在单个查询粒度上同时生成智能体集合与协调工作流,智能体以面向对象类定义表示,工作流则表达为可执行 main 函数。在覆盖代码、数学与问答的混合任务基准上,OOPMAS 达到 89.6% 准确率,超出最强基线 18.1 个百分点;跨四个 LLM 基座的模型替换研究显示性能一致扩展,最强模型下达到 92.4%。
针对长时程具身任务中目标不在视野内、状态随前序任务改变的问题,研究者提出 Attacca,用与执行环境解耦的目标图像训练视觉目标条件策略,并通过上下文解耦目标采样、目标掩码预测头和 Search/Approach/Interact 行为阶段条件化来学习当前视角的密集定位。
一项针对三层智能体架构的测量显示,将长上下文推理分解到多个协作智能体可将单次查询的峰值 KV cache 降至 14.3 MiB,而单次推理和检索增强基线分别为 35.5 和 35.3 MiB。
研究者推出 ST-Bench,用于检验 LLM 多智能体系统(MAS)在真实科学数据分析中是否优于单智能体。该基准含 100 个源自地球科学研究的数据科学任务,扩展为 2,067 条查询,在 GPT-5 上评测五种 MAS 生成方法。十种 MAS 配置中九种超过最便宜的单智能体基线,最强配置综合得分接近其三倍,但推理时间约为四倍;更经济的方案以不到两倍成本获得大部分收益。
PERSIST 是一个面向多会话、多说话人语音对话的持久记忆系统,显式建模 Who、What、When,通过 3W 联合打分机制结合语义内容、声学说话人身份与时间状态检索跨会话历史。
AgentMemGate 是一种写入时门控机制,可将提取的陈述分类为推测、已完成事件、更正或其他,阻止未确认的计划进入记忆存储。在 147 组对话的留出集上,Mem0 和 Graphiti 分别将 35.2% 和 27.3% 的未决计划断言为当前状态;AgentMemGate 在核心基准上将污染从 87.5% 降至零,任务准确率从 65% 提升至 95%。
EIO-Agents 是一个面向可互操作 AI 智能体评估的开放规范,由语义层 EIO 与记录系统 PER 两层构成。EIO 通过类型化证据、版本化行为谓词、证据契约、声明、见证规则、证明状态与可计算推导,支撑指标、发现、控制及 PASS、REVIEW、BLOCK 决策;PER 则以内容寻址方式保存单次评估的证据到决策链,可重新推导、解释与验证。
研究将 LLM 多智能体系统(MAS)的防御组织为五项原则并实现为 DEFER1,包含 28 项检查的级联,能拦截的拦截、其余交给四人评审团。在四个领域的独立测试中,攻击成功率从约 30.0% 降至约 3.0%,78% 被拦截的攻击由确定性检查处理。安全运营领域仅四分之一提案会到达评审团,但风险评分审批门会错误放行多数攻击提案、却只放行少数合法提案。
研究者推出 BioStudyBench,用 25 个长周期分析任务评估 AI 智能体能否仅凭公开数据复现 2026 年 7 至 9 月发表的生物医学研究结论,这些研究均晚于被测模型的知识截止时间。
研究提出"个人智能体中介推荐"范式:平台推荐器用本地信息排序候选集,个人 LLM 智能体借助用户授权的跨平台历史对排序进行中介,生成最终 top-K 列表。为此推出 MediateRec 基准,并给出 Personal Attribution Mediation Optimization(PAMO)训练方法,通过反事实遮蔽跨平台历史来估计个人中介支持度。
研究提出交错参与(SP)下的多智能体强化学习设定,即部分智能体先行动并留下对后续智能体有用的信息,形成跨时间、跨智能体的学习依赖。为此提出训练期增强方法 SPL,通过前瞻性获取监督训练早期智能体、以结果监督训练后续接收方。在 60 组 MPE/RWARE 骨干设置对比中,SPL 每次任务完成度均更高,平均提升 14.1%,并扩展至八智能体团队和 Isaac Lab 的 UAV-UGV 环境。
DeOrch 将多智能体编排中的规划与具体 worker 选择解耦:两阶段规划器先在不依赖 worker 信息的情况下分解任务,再借助池内无 worker 身份的匹配度反馈选择协作操作,从而实现分解与协作的条件化信用分配。
研究考察了 11 个不同模型家族与参数规模的 LLM 在信息价值判断上的差异,并构建受控 elicitation 模拟,让不同模型在相同信息空间中使用同一选择规则,从而隔离模型判断对顺序信息搜寻的影响。研究刻画了模型特定偏好所导致的广度-深度行为,并分析了交互历史如何改变对候选信息的评估与选择。项目代码、数据与轨迹文件已公开。
PsyCIDRA 是一个将自由形式精神科访谈与诊断推理相连接的双智能体框架,访谈智能体借助工具维护工作笔记、加载专家技能并检索 ICD-11 参考,诊断推理智能体则基于完整访谈记录给出假设及支持、冲突与缺失证据。
arXiv 论文提出让 AI 智能体的声明变得可审计的方法:声明必须先明确其策略、范围、可据以判定的记录及记录撰写方,并在裁决前固定决策规则。该研究将 Auditable Agents 框架的 Policy Checkability 维度从单一动作扩展到声明,并针对智能体补充独立记录覆盖、动作参数授权绑定、超越完整性的完备性三项条件。
一项角色感知的 Decider-Supervisor(DS)框架研究评估了集中式机器学习、FedAvg 联邦元模型与 Base/QLoRA 大语言模型变体四种组合配置。
研究人员推出 2D-FET-Bench V2,一个基于显微薄片轮廓构建的 128 项 FET 版图任务基准,用于测试语言模型智能体能否完成薄片专属的器件构造。
MemCo 是一个记忆中心协作框架,通过维护互补的局部与全局记忆空间,让 LLM 智能体泛化到未见交互环境。它按智能体当前状态和决策阶段路由局部与全局记忆,避免盲目迁移环境特定细节。在交互决策基准上,MemCo 相比孤立记忆和共享记忆基线提升了任务成功率并减少冗余探索。
研究用 1,119 条已标注智能体动作测试运行时门控堆叠,发现任意两个 LLM 裁判组合仅相当于约 1.2 至 1.4 层乘法等效层,而规则层加一个裁判可达 1.86 至 2.09 层。