BoNG:面向测试时扩散模型对齐的 Best-of-N 引导方法
研究者提出 Best-of-N Guidance(BoNG),将 BoN 采样直接融入反向扩散过程,通过去噪粒子间的非对称引导交互,把粒子群导向更高奖励区域。在 36 项对比中 BoNG 有 29 项表现最佳,对 SMC 和 Vanilla BoN 的胜率达 80.56%。该方法支持多输出,ImageReward 分数为最新基于采样的引导方法的 1.3 倍,速度提升 1.6 倍,代码已开源。
研究者提出 Best-of-N Guidance(BoNG),将 BoN 采样直接融入反向扩散过程,通过去噪粒子间的非对称引导交互,把粒子群导向更高奖励区域。在 36 项对比中 BoNG 有 29 项表现最佳,对 SMC 和 Vanilla BoN 的胜率达 80.56%。该方法支持多输出,ImageReward 分数为最新基于采样的引导方法的 1.3 倍,速度提升 1.6 倍,代码已开源。
研究者提出 E$^2$-OPSD,用于解决在线策略自蒸馏(OPSD)中"熵过冲"的失败模式:学生 token 熵超过教师并持续偏高。该方法用检索到的已解邻近问题替代当前答案进行示例引导教学,并依据学生-教师熵差决定每个 token 的修正方向与强度。
一项研究用 14M-1.4B 的 Chinese-Pythia 模型(30B token 训练)分析 token 级 surprisal 对中文阅读时间的预测力,并提出 SMS 对齐方案以调和眼动语料分词与 LM 子词分词的不一致。
研究者提出 Sparse Asymmetric Group-Query Attention(SAGA),将 key 头与 value 头数量解耦,并搭配近似 top-N(Atop-N)稀疏注意力。
WAMJET 是一个智能体加速框架,通过为编码智能体配备可复用的优化指导与测量验证工具,加速 World Action Model(WAM)推理。它采用瓶颈驱动流程,让智能体分析推理、修改代码、验证效果并迭代优化加速栈,在六种 WAM、三种编码智能体和两种 GPU 架构上实现最高 9.95x 无损加速,近似与硬件感知优化还能进一步降低延迟且成功率相当。
研究针对 Mamba2 等选择性 SSM 在分布式学习中缺乏架构感知理论的问题,推导了单层与多层选择性 SSM 的梯度与平滑性边界,以及 FedAvg 和 FedProx 的收敛边界,刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。作者在教师 SSM 生成的序列上数值验证了单层边界,并在六个文本域上对比九种联邦学习算法用于 Mamba2 语言建模。
研究者提出 Completion Aware Guidance(CAG),一种免训练采样方法,用于解决 World Action Models(WAMs)在短片段控制下出现的任务不完整想象问题。在代表性 WAMs 上,CAG 将 RoboTwin 2.0 子集成功率从 64% 提升至 70%,零样本仿真中从 69% 提升至 75%,并将任务不完整想象从 79% 降至 40%。
一项受控实验用 30 个工件、150 个植入错误、10 种审查条件和 900 次审查会话,测试了来自两家开发商的三个审查模型。顶级跨模型审查者的 F1 与同模型新会话审查(CCR)无显著差异,但两者发现的错误仅部分重叠(Jaccard 41.2%)。
论文提出 policy-space scaling,通过融合同一次 RL 训练中的两个检查点,在不延长训练、不增加单次推理计算的前提下获得更强策略。方法 SURGE 将高精度 anchor 与生成更短回复的 donor 表示为相对共享初始化的更新,再对 anchor 更新做谱分解,保留其主导成分并融入 donor 的互补成分。
KlinikeBench 是一个包含 333 个临床医生编写任务的基准,每个任务提供虚拟患者、临床工具和任务专属成功标准,超过 35 位临床医生参与编写与评估。
研究团队发布 FineART 双臂操作数据集,含 40,543 条轨迹(1,718 小时)、533,913 个子任务,覆盖 151 项任务,并推出可预测下一子任务的视觉-语言-动作策略 FineART-VLA。
研究者提出由 AI 开发的局部红外减除框架,在人类物理指导下由 LLM 给出两种实现:一种用神经网络做相空间投影并拟合 Born contact,另一种用解析构造直接计算 contact 项,无需切片参数。
论文提出智能体数据空间中的"作者身份风险":智能体既是治理策略的对象又是其作者,会写出约束自身的规范,因此应确立原则——智能体只是治理平面的对象,永远不是其作者。
KernelOPT 是一个多智能体系统,将编译后的模型视为结构化产物,保留 cuBLAS、cuDNN 等厂商库调用,仅针对生成的 Triton 子 kernel,由五个 profiling 引导的 LLM 智能体进行优化。
研究者提出 NormPaST-Risk,将在线手写阿尔茨海默病(AD)检测重构为局部疾病相关片段发现,通过多尺度时序编码器与选择性 Paper-Air 状态空间编码器建模笔画动态,区分纸面运动执行与空中规划行为。
研究团队开发了可调节置信度、透明度、正式度、果断性等信任相关特质、规则与人设的聊天机器人搭建环境,115 名 8-18 岁学习者共制作了 119 个聊天机器人。
ValueDiff 是一种基于值几何的 KV cache 淘汰方法,按 value 向量与缓存均值的 L2 偏差对 token 排序,在弱注意力汇模型上替代依赖注意力汇的既有方案。
研究者提出基于局部掩码 SAE 的无监督异常检测框架,利用线性表示假设下邻近点共享小共同活跃支撑的特性,在多种架构和数据集上验证了 LLM 安全检测的可行性。当允许使用 1% 的分布外数据校准时,该方法达到接近最优的性能,且仅需 1-2% 的 SAE 神经元参与计算。该工作发表于 NeurIPS2026。
研究者提出 Causal Semantic World Action Model(CSWAM),在 FastWAM 基础上引入基于 V-JEPA 2.1 的因果语义专家,通过因果注意力将历史语义上下文共享给视频与动作流,推理时仅需当前视频状态和语义历史即可完成动作去噪。
SpliTEE 将 LLM 推理拆分到 Intel TDX TEE 与不受信任的 GPU 之间,并用差分隐私保护中间表示,避免加密带来的量化问题。作者对 LLM 推理关键函数做了全局敏感度分析,并推导出掩码与噪声抵消的浮点误差上界。基于 Llama-3.2-3B 和 Qwen3-4B 的实现比全 TDX 推理快近 2 倍,比 Slalom 最多快 43% 且准确率更高。
研究者提出成本感知分层多智能体系统(HMAS),将证据获取建模为带预算的序贯决策问题,仅在静态证据置信度不足或控制器内智能体分歧时才升级到动态与内存分析。
论文提出 Latent Diagnostic Taxonomy 框架,用于构建作为防护层的分类器并诊断其哪些高置信决策可信。该框架通过交叉验证选择嵌入维度,定位约占训练样本 29% 的潜在支持向量,并据此构建诊断分类体系。在公开提示词注入数据集上,约 77% 的高置信决策在移除单个 token 后不再稳健,且脆弱性分为置信度校准失败与可被利用的捷径两类。
PertMind 将细胞扰动图谱转化为强化学习环境,以实测基因响应作为可计算奖励,结合可信轨迹监督初始化与基因、通路、格式三级强化信号。该模型仅在正向扰动响应预测上训练,却在未见细胞环境中提升响应推断,并零样本迁移至反向扰动识别、双扰动推理、表型筛选优先级排序和生物过程解读。
一项研究用十个月欧洲地面观测数据,将 12 个物理与 AI 预报模型对照 ECMWF IFS 评估,覆盖 10 m 风速、2 m 气温、太阳辐射和降水。结果显示 AI 模型在极端条件下并无统一的尾部劣势:部分 AI 模型比 IFS 更准,另一些则明显退化,物理模型间也存在类似差异。所有模型都表现出高值低估、低值高估的共同条件误差模式,尾部表现取决于模型、变量和评估设置,而非是否由 AI 生成。
研究提出一个受控基准,用有序规划操作刻画 LLM 智能体在信息物理系统中的控制轨迹,由 Llama-3.3-70B 在 40 个产消者的辐射状馈线上执行需求响应实验。
研究基于合成基准 SBID-FD,将已知含冲突的段落分为 11 类不一致类型,并对比冻结编码器、微调编码器、证据增强分类器、提示式大语言模型与 LoRA 适配生成模型。结果显示任务特定适配显著优于冻结表示,微调后的 300M 编码器可与更大规模的提示与适配模型竞争。自动提取的证据能提供额外信号,但仅能恢复参考跨度带来的部分收益。
研究者提出一种多尺度视觉特征表示,将边缘与轮廓特征及其空间关系编码后,集成进无梯度的发展式学习框架,在类增量 MNIST 上大幅提升识别准确率。该方法无需回放缓冲区或预设任务边界,存储量相当时可匹配或超越基于回放与正则化的基线,且不遗忘旧类别。学到的表示保持人类可解释性,基线方法则在训练周期内丢失大部分刚学类别后再重新学习。
研究者提出 Variational-Ising-Attention(VIA),在 softmax 归一化基础上引入相互作用 Ising 模型,通过变分平均场推断从可学习的成对耦合中生成注意力模式,将注意力从孤立项的排序扩展为相互作用实体的集体状态。
研究者提出 Retrieval-Augmented Interpretable Learning(RAIL),一种概率元学习框架,可从自然语言任务描述和已学预测器记忆中合成系数空间结构,零样本生成任务特定的可解释模型。
研究者推出 3D-DefectBench,用覆盖几何、纹理与提示词遵循的九类细粒度二元缺陷评估 3D 生成,并跨 84 种推理设计对 VLM、相机协议、视觉输入与提示词方案做析因分析。
Guided Action Flow(GAF)通过从机器人任务 rollout 中学习紧凑的观测条件动作价值 critic,并用其动作梯度引导反向流采样,使监督微调后的 VLA 策略保持冻结。
研究者提出 Prime Fourier Embeddings(PFE),将整数编码为素数索引的 (cos, sin) 对,使模运算只需选择相关素数通道。基于 Schur 引理,作者证明任何对乘积群作用等变的线性映射必为块对角结构,每个素数对应一个独立块;中国剩余定理可预测无平方因子合数模的任务相关通道。
研究者提出用程序合成近似 Transformer 注意力头行为的方法:先计算注意力矩阵,再让预训练语言模型据此生成 Python 程序,最后按留出输入上的预测效果重排序。
SAE++ 是一种级联稀疏自编码器架构,通过在初级 SAE 的解码器权重上训练二级 SAE,学习多模态 LLM 中的层级视觉概念,避免嵌套式共享前缀耦合与朴素堆叠的瓶颈。在 Qwen3-VL、Gemma-3 和 LLaVA 上的多组视觉数据集实验中,SAE++ 在层级概念一致性上优于当前最优 SAE 基线,并支持对 MLLM 输出进行组级概念干预。代码已开源。
研究者提出 support-conditioned control-sensitivity regularization,通过促进训练充分区域的局部响应性来保留控制引发的状态变化,解决学习动力学对控制不敏感、掩盖 OOD 信号的问题。该方法在视觉避障、操作和真实机器人导航实验中提升了 OOD 检测能力与闭环规划安全性,论文已被 CoRL 2026 接收。
研究揭示推理训练语言模型在数千至数十万候选标签中做多标签选择时,依赖一组小型、全局、分阶段的注意力头,在 MIMIC-IV 临床编码任务(5,651 个诊断码全部入上下文)中经消融与 knock-in 验证为必要且充分。作者提出 MISTILL,在决策事件处额外监督学生模型的池化注意力,跨家族学生对比决策的因果恢复近乎翻倍。
FFR 是首个将 Forward-Forward(FF)学习扩展到真实回归任务的框架,在六个真实回归基准上平均恢复 BP 精度的 98.5%,同时将深度 8 时的峰值训练内存降至 BP 的 27%、深度 32 时降至 8%,单次迭代时间约为 BP 的 72%。它引入序数竞争 goodness 函数、分层阶梯架构与带不确定性估计的层次化预测三项创新,显著优于所有无 BP 的竞争方法。
研究团队提出 GPU 加速的持续强化学习域 Banyan,可参数化控制地图布局、交互对象和子目标依赖层级三个独立任务轴。实验发现,沿各轴增加多样性会带来系统性迁移,但多样性过高会抑制学习器持续适应新任务分布的能力:在新任务上成功率趋于平台,却在旧任务上持续提升。该现象在多种持续学习算法、记忆架构、模型规模以及物理控制域 Kinetix 中均成立。
研究提出终端表示(TR),一种结构上区别于后继表示(SR)和默认表示(DR)的新型强化学习表示方法。TR 与 DR 一样编码奖励加权轨迹,但可作为更低维对象学习,且无需特征分解即可直接用于选项发现、奖励塑形、迁移学习和探索等任务,同时绕开对称转移动态假设。
研究者提出 SPATIALUNCERTAIN 评测框架,用遮挡造成的证据缺失和透视造成的误导证据两类场景,考察视觉语言模型能否判断当前视角是否可靠。在八个开源与闭源 VLM 上,模型行为并不跟随视觉证据的可靠性:证据消失时不会更谨慎,透视冲突时判断更依赖投影外观而非未变的物理 3D 关系。