Latent-MOPD:面向 LLM 的潜在多教师同策略蒸馏
Latent-MOPD 是首个面向 LLM 的表征级多教师同策略蒸馏(OPD)方法,同时利用专家的预测结果和计算这些预测所用的隐藏状态,无需额外教师训练。在同家族设置下,它在数学、代码和逻辑共 9 个基准上均优于仅 token、仅表征和均匀平均基线,参数量与各教师相同时多数基准超过单基准最佳教师;跨家族教师下也在全部基准上超过单通道基线。
Latent-MOPD 是首个面向 LLM 的表征级多教师同策略蒸馏(OPD)方法,同时利用专家的预测结果和计算这些预测所用的隐藏状态,无需额外教师训练。在同家族设置下,它在数学、代码和逻辑共 9 个基准上均优于仅 token、仅表征和均匀平均基线,参数量与各教师相同时多数基准超过单基准最佳教师;跨家族教师下也在全部基准上超过单通道基线。
研究者提出 MIRA,一种将研究分配与执行分离的分层架构:外层元推理器从持久研究记录中整理上下文并生成下一步调查的工作指令,内层执行器逐条执行。无需策略训练,MIRA 在定理证明和开放式神经网络架构研究中提升了长时程推理并更有效分配额外算力。基于该先验初始化的生成式 actor-critic MIRA-AC 在四个 autoresearch 环境中提升了 gold 表现。
DeReAct 是一种模块化智能体架构,将动作校验与完成判定外置为 Critic 和 Context Manager 两个门控策略。在 GAIA 和 SWE-bench Verified 上,Qwen3-Coder-480B 的 Pass@1 提升 6.5–7.0 分,Claude Sonnet 4.5 提升 4.2–5.2 分,模型越弱增益越明显。
研究者提出 ExecCert(Executable Release Certification),一个在发布时对候选模型产物进行认证的层,可闭合方法原生证书或通过 Retraining-Reference Release Verification(RRV)验证其对当前保留集重训练的保真度。
TRACE 是一个可复现的电价预测基准,包含美国某主要市场五个区域的 7,300 个区域-日实例,将电价与预测截止时点可获取的官方运营文本配对,并在每个截止点重建文本以避免信息泄漏。在时序基础模型上,TRACE 使上尾 pinball loss 中位数降低 7.4%;跨日文本错配消融实验则使增益反转,低于无文本基线。
APDMem 是一种分层长期记忆架构,将对话历史表示为主题摘要、个性化关键事实、轮级证据笔记和原始消息四层,推理时由控制器先读高层摘要、按需深入细节。在 LongMemEval 上,它仅访问 8% 的对话内容即取得强劲的长上下文记忆推理表现。该工作已被 EMNLP 2026(Industry Track)接收。
针对交叉拟合中忽略交叉折依赖的置信区间在非正则场景下覆盖不足的问题,研究者利用新的局部性条件证明一大类交叉拟合估计量仍满足中心极限定理,但渐近方差需按交叉折相关性调整。随后提出估计该相关性并构造达到渐近名义覆盖率的置信区间,在随机森林与神经网络的模拟研究中取得近似名义覆盖率。
研究提出一套自动化头皮分析与临床决策支持框架,结合毛囊单位定位、可见毛干计数、校准毛干宽度估计、区域聚合与可解释规则层,用于雄激素性脱发(AGA)评估。临床队列含 243 名患者(127 例 AGA、116 例非 AGA),计算机视觉实验使用 160 名专家标注患者、2,400 张毛发镜图像及约 158,000 条毛囊单位标注。
针对大语言模型强化学习通常最大化期望回报、概率求和无法指出哪条解法真正有效的问题,研究者提出 Tropical Reinforcement Learning,用取最大值的热带半环替代概率相加,使状态价值对应最可能被验证解法的对数概率并附带可复用路径。
研究提出"世界编辑"概念,即对已有可执行世界进行干预并保留不应改变的部分,同时引入干预深度这一维度。作者基于 Minecraft 和 Terraria 的游戏模组构建了 IGMWorld 与 IGMBench,包含 110 项任务和超 1.1K 条可执行状态与行为标准。
Ψ-Resilience 是一种无模型特征重要性方法,通过估计类条件密度并沿特征轴取逐点绝对差构建类分歧景观,再用该一维信号的 0 维持续同调定义韧性泛函,聚合在用户设定稳健尺度内幸存的拓扑特征。
对四个开放权重类型化决策模型的研究发现,模型返回的概率主要取决于选项标签而非其定义,即存在"选项标签偏差"。删除全部定义后准确率几乎不变(laya-td:0.8559 对 0.8487),而将选项改名为 A、B 后准确率提升 +0.1511。
研究对正则化经验风险加入随机线性项 z~N(0,σ²I_d) 后,释放确定性梯度下降第 N 次迭代所得有限计算的差分隐私性质。在强凸、光滑且 Hessian 满足 Lipschitz 条件下,证明 z↦w_N 在隐私论证所用有界域上是 C¹ 微分同胚,并给出 Jacobian 最小奇异值的定量下界。
研究者提出 Calibrated User Embeddings(CUE)框架,无需训练即可将观测会话编码为连续表示并解码为 persona 指令,驱动 LLM 模拟用户。
研究团队提出 DeskForge,一个通过组合和探索真实应用生成大规模监督数据的可控桌面环境,并据此构建了包含 120 万条标注桌面观测、1.597 亿个元素实例的 DeskForge-1M 语料。
推荐理由:论文给出可控桌面环境与 120 万条标注数据,并展示四个视觉语言模型在 GUI 定位基准上的提升幅度。
研究在每轮仅有一个无偏随机次梯度、且条件 p 阶噪声矩未知(1<p≤2)的在线凸优化中,提出一种无需知道 G、σ、p、I、P_I 的算法,对任意长度 n 的固定区间 I 取得区间动态遗憾上界,同时保留均值梯度与噪声各自的指数项。该分析在期望层面控制校准,其一般定理与基于非均匀先验的相对熵专家分布相比较,在给定统计量下区间代价为 1+log(T/n),并包含最优的全时域静态速率。
GRAFT 是一个持续多教师蒸馏框架,让统一骨干网络从开放序列的基础模型中逐步获取能力,新增教师时只需一次蒸馏而非全量重蒸馏。它引入 Teacher Specific Readout Tokens 为每个教师提供独立读出,并用 Geometry Agnostic Relational Loss 对齐视觉语言教师。
研究者提出 HXAI,一个在分布式能源系统中兼顾隐私与可解释性的分层框架,由本地模型在安全环境内生成细粒度解释、区域模型聚合解释以支持电网级分析两部分组成。该框架通过灵活的隐私预算管理限制重复查询下的累积隐私暴露,在模拟和真实能源数据集上实现了区域负载管理的有用洞察,同时家电级用电数据始终保留在本地、不传输给电网运营商。
研究团队推出 CourseChat,一个部署在校园网关后、面向本科商科教育的本地化多课程 RAG 辅导系统,六个课程实例共享由 Ollama 提供本地 LLM 服务的双边缘 AI 主机。
研究将行为评估扩展到潜空间,在全部 11 个开放权重 LLM 中发现了专门的临床概念中心,这些中心可解释、仅对对齐的临床叙事激活,并在受限与开放式场景中因果驱动模型行为。在对抗性角色提示下模型仍保持内部一致并持续使用相关概念中心,而对齐提示可提升下游临床表现;沿这些中心进行引导也能带来下游改进。盲法临床医生验证显示,这些概念中心的激活与使用可预测临床医生的偏好。
FactorSplat 是一种逐场景的 N 维高斯泼溅(N-DGS)代理,可在推理时接受区域特定的强度到 RGBA 曲线,让图像训练的高斯代理不再把单一传递函数烘焙进外观。
研究者提出 Spatial Memory Intelligence(SMI),首个系统性地用理解模型为长视频世界模型管理空间记忆的框架。SMI 包含空间聚类、簇内稀疏化、动作感知检索和可靠性感知过滤四项协同原子操作,在多个基线、benchmark 和世界模型骨干上实现了记忆稀疏度、生成稳定性与空间一致性的全面提升。
针对全模态大模型音视频联合推理成本高的问题,研究提出以文本为中心的后训练范式:先用纯文本训练做主推理优化,再用缩减数据的原生音视频 RL 精修感知。最佳纯文本配置下,SFT 加 RL 使 Qwen2.5-Omni-7B 九项推理得分的几何均值较基座提升 25.83%,GPU 时长比完整原生音视频路线少 56.6%。
一项 arXiv 研究用可解析的线性-softmax 策略,对分类任务中 SFT 与 RFT 的更新做了语义与风格分解:在相同策略和提示词下,两者语义更新平行,但风格动态不同。RFT 用精确策略梯度可保持类内风格对称,而 SFT 在非均匀教师下会产生偏离轴的风格漂移。该漂移在显式条件下导致分离:从同一完美拟合检查点做群体更新时,SFT 的遗忘在有限训练区间内有严格正下界,RFT 则保持零语义误差。
多模态大模型能正确报告空间事实,却未必在后续推理中使用该事实。研究者提出 SpaceConflict 基准,含 23,196 条输入,覆盖 L1 局部事实绑定到 L4 变换下状态判断四个层级,揭示"可用性—利用率"鸿沟:Qwen3.5-9B 在 100 条正确恢复初始状态的序列中有 50 条无法完成完整变换,显式提供状态可修复全部 50 条。
研究者提出 MACTS-EM 多智能体协作时间序列预测框架,通过领域专用预测智能体、元认知层动态分配、涌现记忆机制、多模态上下文整合与对抗鲁棒性组件协同工作。在金融市场、气候模式、能源消耗和疫情传播等场景评测中,该框架预测准确率提升 8-12%,零样本迁移能力提升 22-27%,regime shifts 期间韧性增强 16-21%,分布偏移后恢复速度加快 15-18%。
英国医护人员常依赖 Google Translate 与患者沟通,但一项针对 21 名不同岗位医护人员的访谈研究显示,他们对机器翻译在医疗场景中的风险认知有限。研究以医学缩写为用例,将临床语料库中的法语和西班牙语数据经 Google Translate 翻译后展示给受访者,发现此类高风险翻译可能危及患者安全。
针对一致性模型(CM)多步采样中步数对样本质量影响难以解释的问题,研究者将多步 CM 采样建模为加噪与近似去噪算子的复合,在可验证的稳定性假设下推导出非渐近误差界,将初始化误差的收缩与近似误差的累积分离。该误差界表明:早期大噪声水平驱动收缩,后期小噪声水平控制残余偏差;对强对数凹与半对数凹目标还给出显式常数。实验显示误差界中的收缩与近似曲线可被可靠测量,并与预测的函数形式吻合。
研究者提出由编码智能体驱动、带人工验证的转换流程,将 BIRD 的 Text-to-SQL 基准转为面向文档数据库的 AptMQL-Bench,包含 21 个数据库、3,186 条自然语言请求及对应 MQL 查询,迁移自 SQLite 且无数据丢失。
Ian Osband 提出 horizon loss,将交叉熵视为"耐心的准确率",并按剩余训练量截断,从而在训练后期向精确策略梯度过渡。在 MNIST 及 ImageNet 上使用 ResNet-50、ResNet-101 和 ViT-S/16 测试,该方法在固定学习率下提升 top-1 准确率,且标签噪声越大增益越明显。
研究对固定 YOLOv8s 行人检测器的后置解释在 PIE 与 JAAD 数据集上进行审计,发现基于删除的忠实度与解释时的检测强度强相关,D-RISE 的 Spearman 相关系数达 0.70 至 0.82,使朴素置信度分层比较不可靠。
研究者发布 SymCE,包含 4,707 道本科代数与实分析假猜想,每题配有可执行的逐定理 Python 验证器,验证器同时充当奖励函数。
研究将摊销结构化随机变分推理(Amortized Structured Stochastic Variational Inference)用于高斯过程隐变量模型,使隐空间的变分后验可条件依赖于诱导点取值,突破了原有诱导点与隐变量间平均场近似的限制。这一更灵活的变分后验在多项数据流形重建指标上取得提升。
FlashSinkhorn 2(FS2)是一款面向低维点云平方欧氏代价的熵正则最优传输(EOT)GPU 求解器,通过粗粒度质心求解与块稀疏精修两阶段耦合,在单张 A100 上求解两个 1.34×10^8 粒子测度间的离散 EOT 问题,全粒子边际残差低于 0.01,耗时不到 2.5 小时。
研究团队提出 VLA 推理框架 IG-VLA,让模型在视觉表征空间中想象任务相关的未来场景演变,并通过 Scene Gist Memory 将推理结果内化为紧凑的 Scene Gist Token,从而在推理时跳过显式未来想象。
针对长程工具调用中结果奖励难以做信用分配的问题,研究者提出 Comparative Inference for Tool-use Agents(CITA),训练 Comparative Inference Model(CIM),用贝叶斯工具图模拟器与 LLM 比较判断生成的配对信号,估计候选下一步工具调用对任务成功的价值。
研究者提出生成式测试驱动开发(GTDD),由独立的测试智能体在每次候选实现固定后,依据人类指定的行为契约与历史反馈生成新输入,可信评估器校验并返回精简反例供回归测试。在有状态键值存储的配对实验中,开发过程中重新生成测试的策略平均失败率低于仅用同一语言模型一次性生成测试的策略,而向测试方提供候选源码未带来可检测的额外提升。
MIT Technology Review 的 EmTech Future 2026 活动上线完整回放,Google Research 负责人 Yossi Matias 探讨 AI 如何重塑生物学、基础设施、制造业与科学,并指出其最大影响可能来自与其他领域的交叉。
ConvoDrift 是一个用于建模固定语义意图下渐进式风格语调漂移的多轮对话数据集,基于 15,727 个共享多轮对话结构构建,每段对话含六组提示词-回复对并标注风格漂移与方向标签。
研究通过可解析的事实回忆模型揭示,Muon 对应的 Spectral GF 将 subject 与 relation 依赖信息的学习时间比从 GF 的 Θ̃(√(S/R)) 降至 Θ̃(1),且固定 S、R 时误差随训练时间 T 以 exp(-poly(T)) 衰减,而 GF 仅为 1/(T log T)。