以文本为中心的后训练实现全模态推理:Qwen2.5-Omni-7B 推理得分提升 25.83%
针对全模态大模型音视频联合推理成本高的问题,研究提出以文本为中心的后训练范式:先用纯文本训练做主推理优化,再用缩减数据的原生音视频 RL 精修感知。最佳纯文本配置下,SFT 加 RL 使 Qwen2.5-Omni-7B 九项推理得分的几何均值较基座提升 25.83%,GPU 时长比完整原生音视频路线少 56.6%。
针对全模态大模型音视频联合推理成本高的问题,研究提出以文本为中心的后训练范式:先用纯文本训练做主推理优化,再用缩减数据的原生音视频 RL 精修感知。最佳纯文本配置下,SFT 加 RL 使 Qwen2.5-Omni-7B 九项推理得分的几何均值较基座提升 25.83%,GPU 时长比完整原生音视频路线少 56.6%。
一项 arXiv 研究用可解析的线性-softmax 策略,对分类任务中 SFT 与 RFT 的更新做了语义与风格分解:在相同策略和提示词下,两者语义更新平行,但风格动态不同。RFT 用精确策略梯度可保持类内风格对称,而 SFT 在非均匀教师下会产生偏离轴的风格漂移。该漂移在显式条件下导致分离:从同一完美拟合检查点做群体更新时,SFT 的遗忘在有限训练区间内有严格正下界,RFT 则保持零语义误差。
多模态大模型能正确报告空间事实,却未必在后续推理中使用该事实。研究者提出 SpaceConflict 基准,含 23,196 条输入,覆盖 L1 局部事实绑定到 L4 变换下状态判断四个层级,揭示"可用性—利用率"鸿沟:Qwen3.5-9B 在 100 条正确恢复初始状态的序列中有 50 条无法完成完整变换,显式提供状态可修复全部 50 条。
研究者提出 MACTS-EM 多智能体协作时间序列预测框架,通过领域专用预测智能体、元认知层动态分配、涌现记忆机制、多模态上下文整合与对抗鲁棒性组件协同工作。在金融市场、气候模式、能源消耗和疫情传播等场景评测中,该框架预测准确率提升 8-12%,零样本迁移能力提升 22-27%,regime shifts 期间韧性增强 16-21%,分布偏移后恢复速度加快 15-18%。
英国医护人员常依赖 Google Translate 与患者沟通,但一项针对 21 名不同岗位医护人员的访谈研究显示,他们对机器翻译在医疗场景中的风险认知有限。研究以医学缩写为用例,将临床语料库中的法语和西班牙语数据经 Google Translate 翻译后展示给受访者,发现此类高风险翻译可能危及患者安全。
针对一致性模型(CM)多步采样中步数对样本质量影响难以解释的问题,研究者将多步 CM 采样建模为加噪与近似去噪算子的复合,在可验证的稳定性假设下推导出非渐近误差界,将初始化误差的收缩与近似误差的累积分离。该误差界表明:早期大噪声水平驱动收缩,后期小噪声水平控制残余偏差;对强对数凹与半对数凹目标还给出显式常数。实验显示误差界中的收缩与近似曲线可被可靠测量,并与预测的函数形式吻合。
研究者提出由编码智能体驱动、带人工验证的转换流程,将 BIRD 的 Text-to-SQL 基准转为面向文档数据库的 AptMQL-Bench,包含 21 个数据库、3,186 条自然语言请求及对应 MQL 查询,迁移自 SQLite 且无数据丢失。
Ian Osband 提出 horizon loss,将交叉熵视为"耐心的准确率",并按剩余训练量截断,从而在训练后期向精确策略梯度过渡。在 MNIST 及 ImageNet 上使用 ResNet-50、ResNet-101 和 ViT-S/16 测试,该方法在固定学习率下提升 top-1 准确率,且标签噪声越大增益越明显。
研究对固定 YOLOv8s 行人检测器的后置解释在 PIE 与 JAAD 数据集上进行审计,发现基于删除的忠实度与解释时的检测强度强相关,D-RISE 的 Spearman 相关系数达 0.70 至 0.82,使朴素置信度分层比较不可靠。
研究者发布 SymCE,包含 4,707 道本科代数与实分析假猜想,每题配有可执行的逐定理 Python 验证器,验证器同时充当奖励函数。
研究将摊销结构化随机变分推理(Amortized Structured Stochastic Variational Inference)用于高斯过程隐变量模型,使隐空间的变分后验可条件依赖于诱导点取值,突破了原有诱导点与隐变量间平均场近似的限制。这一更灵活的变分后验在多项数据流形重建指标上取得提升。
FlashSinkhorn 2(FS2)是一款面向低维点云平方欧氏代价的熵正则最优传输(EOT)GPU 求解器,通过粗粒度质心求解与块稀疏精修两阶段耦合,在单张 A100 上求解两个 1.34×10^8 粒子测度间的离散 EOT 问题,全粒子边际残差低于 0.01,耗时不到 2.5 小时。
研究团队提出 VLA 推理框架 IG-VLA,让模型在视觉表征空间中想象任务相关的未来场景演变,并通过 Scene Gist Memory 将推理结果内化为紧凑的 Scene Gist Token,从而在推理时跳过显式未来想象。
针对长程工具调用中结果奖励难以做信用分配的问题,研究者提出 Comparative Inference for Tool-use Agents(CITA),训练 Comparative Inference Model(CIM),用贝叶斯工具图模拟器与 LLM 比较判断生成的配对信号,估计候选下一步工具调用对任务成功的价值。
研究者提出生成式测试驱动开发(GTDD),由独立的测试智能体在每次候选实现固定后,依据人类指定的行为契约与历史反馈生成新输入,可信评估器校验并返回精简反例供回归测试。在有状态键值存储的配对实验中,开发过程中重新生成测试的策略平均失败率低于仅用同一语言模型一次性生成测试的策略,而向测试方提供候选源码未带来可检测的额外提升。
ConvoDrift 是一个用于建模固定语义意图下渐进式风格语调漂移的多轮对话数据集,基于 15,727 个共享多轮对话结构构建,每段对话含六组提示词-回复对并标注风格漂移与方向标签。
研究通过可解析的事实回忆模型揭示,Muon 对应的 Spectral GF 将 subject 与 relation 依赖信息的学习时间比从 GF 的 Θ̃(√(S/R)) 降至 Θ̃(1),且固定 S、R 时误差随训练时间 T 以 exp(-poly(T)) 衰减,而 GF 仅为 1/(T log T)。
研究者提出 Predictively Oriented Gaussian Processes(PrO-GPs),将预测不确定性作为首要推断目标,以应对核函数与观测模型选择不当导致的模型误配问题。由于非参数模型的 PrO 后验无法直接计算,作者推导出简化形式与实用采样方案以实现高效计算。合成与真实数据实验显示,在模型误配下 PrO-GPs 的预测分布校准优于标准 GP 方法。
研究提出一种生成语法信息驱动的神经符号框架,结合生成句法理论与 AraBERT,将现代标准阿拉伯语 DP 的结构歧义建模为候选决策任务,通过候选条件化输入表示进行评估。
研究者推出 XiangqiBench,一个可执行的中国象棋基准,用 119 个战术残局让 LLM 智能体在引擎防守下完成将杀,并记录了 12 个前沿 LLM 在两种观测协议下的 8,568 条多轮轨迹。
研究者提出 HOST,一种高效高斯 DAG 学习算法,用逐节点留出评分与凸回归替代子集搜索,且无需预先给定入度上界。在合适条件下,HOST 可在多项式时间内以 d log p 量级的样本复杂度精确恢复最大入度为 d 的 p 节点 DAG。实验显示其图恢复效果具竞争力,运行时间扩展性良好。
研究探索用 LLM 作为"不完美专家"完成解释结构建模(ISM)中的因果图发现,以替代传统依赖专家反复交互的方式。对比成对、k-wise、逐行和全图四种方法后,逐行法(SHD=160,F1-score=0.77)与全图法(SHD=135,F1-score=0.73)表现最佳。该集成 LLM-ISM 路径有望让 ISM 扩展到含数百个变量的研究。
一项研究用 VLM 生成添加非必要、歧义或虚假信息的提问修饰语,评估 ChatGPT、Claude、Gemini 和 Llava 在违反 Grice 准则时的 VQA 表现,结果显示这些模型性能均下降。研究还对比了人类与 VLM 的语用推理差异,以及 VLM 处理人类诱导与 AI 生成违规时的推理差异。人类解决 VLM 诱导违规的认知投入更低,但 VLM 自身在此类情况下准确率更差。
研究提出增量认知诊断框架 CLEAN,通过严格拓扑二分协议冻结历史诊断函数,并用确定性正交列掩码切断梯度干扰,同时以可扩展满秩分支学习新概念。在三个大规模教育数据集上,CLEAN 实现零 Representation Drift(RD),旧题指标与静态锚点完全一致,新题表现与强持续学习基线相当或更优。
研究者推出 EditHero,据称是首个面向长程、部件级 3D 编辑的基准,支持自然语言指令与几何、纹理的目标图像。其确定性装配引擎可在每次编辑后生成精确目标,每条序列均经人工审核。对比显示,非智能体方法常漏改并扰动应保持不变的区域,而 LLM/VLM 智能体通过代码自底向上编辑,指令遵循更好、更能保留未编辑部分,但每次编辑耗时数分钟。
ProWAM 是一种渐进式世界动作模型,通过联合预测动作与有序稀疏视觉子目标,为动作生成提供显式视觉引导。它在 LIBERO-Plus 上达到 85.8%、随机化 RoboTwin 上达到 75.7%,相对最强基线提升最高 +35.9%;零样本真实场景成功率为 70.0%,较基线 55.0% 提升 +15.0。
针对每轮查询梯度、每 m 轮查询一次 Hessian 的惰性二阶预言机设定,研究者通过新的块零链构造证明了寻找 ε-解所需总迭代次数的下界为 Ω(m + m^{1/7} ε^{-2/7}),并提出新方法达到 Õ(m + m^{1/7} ε^{-2/7}) 的上界。
研究提出基于核典型相关分析(KCCA)的特征子空间对齐方法,并扩展为三视图 3vKCCA,将预训练文本编码器的投影纳入统一优化框架联合对齐。在 ImageNet-1K 上使用 CLIP ViT-L/14,3vKCCA 将 MMVP-VLM 准确率从 17.8 提升至 25.9,同时保持零样本图文检索性能。
研究提出 THPL 生成式投喂决策框架,用于 RAS 虹鳟养殖:Fishsort 提取轨迹并建立活动系数 AC,与专家标注投喂强度呈显著单调正相关(Spearman ρ = 0.925,p < 0.001)。
Physical AI Smart Spaces 发布,这是首个同时提供大规模、多类别、多摄像头 3D 感知数据的室内智能空间基准,含近 1800 台摄像头拍摄的超 280 小时同步 1080p 视频,覆盖仓库、医院、零售等场景。
研究提出一种结合代理模型与强化学习的控制框架,用于优化核物理实验中的动态极化靶。基于 APOLLO 低温靶系统运行数据,高斯过程回归模型能提供校准的不确定性估计并识别训练分布外区域,MLP 对分布偏移敏感性有限。采用下置信界奖励训练的强化学习智能体,将操作员操作效果提升近 2 倍。
研究提出 JEPA 早期训练稳定性理论,将表征坍缩归因于驱动力 γ 与衰减效应 σ 的竞争,并预测出相边界,在超过 800 组 Tabular-JEPA 配置上得到验证。
研究从心理测量学视角分析 LLM-as-a-Judge,对人工与 LLM 评分分别拟合 Many-Facet Rasch 模型,提出"残余难度"指标以衡量评判难度。在 SummEval 上测试 17 个开源权重 LLM 评委发现,潜在摘要质量的中等对齐并不意味着残余难度对齐,且这种不匹配强烈依赖评估维度:一致性维度偏向 LLM 更难,连贯性维度偏向人类更难。
一项预注册基准在 8 个公开数据集(200 至 20,000 训练行)和 4 个原生小型临床数据集上,对 CTGAN、TVAE、TabDDPM 等七种生成器进行了 2,220 次运行。在 24 个(数据集,深度模型)组合中有 23 个,深度模型在任何训练规模下都未超过最佳平凡基线。预注册预测的“小规模下深度模型排名不稳定”被证伪,相邻规模间平均 Kendall tau 为 0.806。
研究在严格 1-bit 反馈约束下的固定置信度最佳臂识别问题,学习者每轮只能收到一个比特,判断采样奖励是否属于所选查询集。作者提出基于随机阈值查询与截断尾积分恒等式的时间一致 1-bit 均值估计原语,并嵌入候选-挑战者算法:固定截断版本给出 anytime (ε,δ)-PAC 保证,分阶段自适应截断版本实现间隙自适应样本复杂度。
研究者提出 Lexicographic Multi-Objective On-Policy Distillation(LMOPD),一种按显式优先级整合奖励专精策略的多教师方法,通过字典序路由与对数策略修正投影保护高优先级能力。
因果图中对变量做任意聚类会改变变量间的因果关系并导致错误结论。研究提出一类基于原图 c-components 条件的聚类操作,在可识别性与不可识别性均被保留时称为识别不变,并给出实际场景中的应用演示。
多智能体辩论中,向一致多数派妥协的 LLM 智能体其实并未改变"想法"。研究用 J-lens 从残差流中读取中间实体(bridge),在 Qwen3.5-4B。
研究提出一种基于高维回归与加权岭估计器的数据集选择方法,仅依赖汇总统计量即可判断外部数据能否改善预测,并给出在标签或特征与标签联合上的ρ-零集中差分隐私保证。其核心技术贡献是测试误差的确定性等价,刻画了样本量、协方差结构、模型偏移、正则化与隐私噪声之间的交互,可在不访问数据本身的情况下优化超参数并判断私有外部数据集是否有用。
研究者提出 TPBench,用于评估对话压缩中的"转折点驱逐"失败:压缩器可能保留事实却丢掉改变事实的那一轮对话。TPBench 在相同名义保留预算下评测三个信息目标,P1 为用户初始目标,P2 为用户修改后槽位的当前值,P3 为两者兼有,答案取自 MultiWOZ 与 SGD 的人工对话状态标注。