Berkeley AI Research 提出 ABBEL 框架，将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督，用受自编码器启发的信念评分（belief grading）奖励能重建最新观测的信念。在协作编程基准 CollabBench 上，ABBEL-rec-BG 将相对全上下文模型的性能差距缩小约 50%，训练步数从 100 降至 50，峰值 token 数也低于全上下文设置。
GPT-4 级能力从 2023 年初的约 $30/百万 token 降至如今不到 $1，部分厂商已低于 $0.10，推理价格年降幅在 9x 到 900x 之间、中位数约 50x。UC Berkeley 的 Aditya G. Parameswaran 等人提出近零推理成本下的三大数据系统挑战：为智能体设计的数据系统、运行智能体集群的数据系统、由智能体合成并需可验证的数据系统。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法，可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题，ProxySPEX 进一步借助层级结构，以约 10 倍更少的消融达到 SPEX 的性能。