多步 LLM 智能体中执行框架引发的信念分歧如何测量

研究发现，即使任务、环境和底层 LLM 保持不变，执行框架（harness）本身也会系统性改变多步 LLM 智能体对环境的信念。作者提出 belief-rollout 诊断方法，在 HIBench-Code、SWE-bench Verified 和 Terminal-Bench 上观测到显著的跨框架信念分歧，且这种分歧往往无法从最终任务成功与否中看出。