语言模型潜在结构的因果影响力由什么决定:容量、响应性与对齐
研究将语言模型激活空间中潜在结构的因果影响力拆解为容量、响应性与对齐三个因素,在4个LM家族和50个概念上验证三者需同时较高才有效。容量或响应性偏低分别使因果效果下降84%和95%,对齐偏低甚至会逆转效果、抑制概念表达。基于此提出的因果探针将跨模型引导效果提升17%-118%,概念检测仅下降3%。
研究将语言模型激活空间中潜在结构的因果影响力拆解为容量、响应性与对齐三个因素,在4个LM家族和50个概念上验证三者需同时较高才有效。容量或响应性偏低分别使因果效果下降84%和95%,对齐偏低甚至会逆转效果、抑制概念表达。基于此提出的因果探针将跨模型引导效果提升17%-118%,概念检测仅下降3%。
研究者提出一种分层因果表征学习框架,应用于先进全球气候模型的海表温度场,首次同时显式建模内部气候变率引发的大气动力相互作用与温室气体、气溶胶浓度变化带来的强迫响应。在未见过的未来气候情景上评估时,该方法能准确预测长期全球平均及区域温度演变,并对温室气体和气溶胶浓度扰动给出物理上合理的响应。
FedGuide 是一个面向异构环境的联邦强化学习框架,用扩散先验作为行为模型为各客户端提供个性化数据分布,并通过最优传输混合专家(OT-MoE)聚合这些先验,而非直接平均本地策略。
研究通过短时固定权重衰减(WD)扰动扫描 Grokking 泛化前的平台期,发现扰动对泛化时间的影响在平台期早期无序,随后在可见泛化前形成稳定的剂量排序:WD 增强导致更早泛化,WD 减弱导致更晚泛化。
研究系统评估了 TabPFN-TS 和 Chronos-2 在德国两个区域供热网络中的零样本概率热负荷预测表现,并与训练基线对比。全年基准中两个时序基础模型在确定性精度上均优于所有训练基线,Chronos-2 在主数据集上取得最佳 CVRMSE 12.48%,TabPFN-TS 为 13.07%。采用 12 周滚动上下文与环境温度的每小时 24 小时预测即可,更长上下文窗口未提升精度。
研究提出三种基于距离的图自编码器(GAE)变体,在重建损失中引入结构惩罚,均采用两层 Graph Convolutional Network 编码器和欧氏距离解码器。
针对 JEPA 世界模型联合训练中表征坍缩导致潜在距离无法反映任务目标的问题,研究者提出 SCALE(State-CAlibrated Latent Embeddings),将采样的成对潜在距离与任务相关状态空间距离相关联。
EvoHarness-RL 是一个将环境相关 harness 实现与共享策略接口分离的统一框架,把外部支持组织为 Belief、Progress、Experience(BPE)工作区,并暴露四个紧凑的 harness 动作。
研究提出一种无标签的结构前沿划分方法,保留最稀疏且理化性质最偏远的骨架组,在六个公开 ADMET 任务上评估。相比 70/10/20 骨架对照,前沿划分使等权主误差中位数上升 87.0%,均值上升 130.3%;移除 BBB 后均值降至 75.9%,该端点是唯一在前沿处排名反转的任务。
研究者提出 Learning from Hindsight(LfH),用预训练视觉语言模型为失败的 rollout 重新标注其实际完成的行为,并将这些辅助任务与目标指令任务联合训练 VLA 策略。
研究探讨用强化学习训练大语言模型同时提升推理准确率并输出置信度时,奖励函数设计不当会诱发"置信度奖励黑客"现象,即模型为让置信度显得校准而故意答错。作者提出"不可黑客攻击的置信度奖励方案"概念及构造方法,并证明可攻击方案在实际数据集上会出现选择性奖励黑客,而不可攻击方案能抵抗该问题。实验还表明不同方案在过度自信—信心不足谱系上呈现相应的校准偏差。
研究针对稀疏自编码器(SAE)的无监督概念发现,提出了一套面向泛化/特化层级的关键要求与具体评估协议。在视觉数据上训练的现有 SAE 方法显示,特征空间虽普遍具备合理层级的基础,但建立良好层级结构仍具挑战。特征吸收(包括硬形式和连续的软形式)会系统性损害层级质量,揭示出未来方法需应对的根本性张力。
针对算法解释常需专业知识才能正确理解、且主流解释算法对复杂决策函数信息量不足的问题,研究者提出 Explanation Cards for Explanation Algorithms,在标准解释上补充鲁棒性与有效性信息及明确的解读说明。以反事实解释和 SHAP 为例,该卡片将解读责任从用户转移给提供方,并被认为可用于落实 EU AI Act 的可解释性条款。
该研究首次给出均值算法定义序列 γ_t 的下界,揭示了此类算法学习速度的根本限制。作者提出两种均值算法,一种泛化 ε-greedy,另一种将均值 Exp3 扩展到未知时域。实验显示均值算法虽略慢,但在 bandit 反馈下可与其他算法竞争,且部分算法同时具备均值与 no-regret 性质。
研究者提出 SeedER(Seed-Expand-Retrieve),一种基于 Graph Transformer 和强化学习的一阶段知识图谱检索器,推理时可在 CPU 上运行,训练时每次只需少量节点的反馈。该方法在检索效果上可与微调 LLM 的方案竞争,同时显著降低内存与计算开销。
该论文提出一个统一框架,将近期基于代理的机器遗忘方法推广,并证明遗忘后模型行为与保留数据理想后验分布之间的 KL 散度上界。方法将近似遗忘建模为约束优化问题,通过后验数据分布的代理引入缩放遗忘信号,必要时以目标模型为教师蒸馏权重更新。在两个遗忘场景实验中,该方法得到的分类器最接近从头重训的模型。
针对离线目标条件强化学习(GCRL)在稀疏奖励下编码器易学到与目标无关特征、导致策略学习不稳定的问题,研究者提出 MSPR 框架,通过多尺度预测监督在隐空间中强化目标导向对齐。该方法在视觉与状态任务上均取得强劲表现,并在具有挑战性的真实数据条件下保持 SOTA 性能。
研究者提出 Particle MCTS(PMCTS),一种适配神经网络评估、面向 GPU 批并行加速的并行 MCTS 算法,同时保留 MCTS 的近似策略改进解释。PMCTS 随并行算力扩展良好,在 Chess、19x19 Go、9x9 Go、Gardner Chess、Snake、Brax 经典控制环境及 Sokoban 中的 LLM 推理等离散与连续动作基准上,持续优于或比肩主流启发式基线。
该研究为异步分类分布时序差分方法建立了有限迭代理论,覆盖 Cramér 几何下的标量 CTD 与 MMD 几何下的多元 MTD。
研究者提出分布鲁棒多目标优化(DR-MOO),在各自最坏分布下最小化多个目标,并给出 Pareto 型解概念与带理论保证的 MGDA 算法。基于拉格朗日对偶重构的双循环 MGDA 达到 ε-Pareto 稳定点的样本复杂度为 O(ε^-8),而结合大批量采样与梯度裁剪的单循环 double-clip MGDA 将复杂度降至 O(ε^-4)。
研究者提出 Observable Neural ODEs(ObsNODEs),一种基于可观测标准型的 Neural ODE 模型,可在隐藏混杂和部分观测状态下实现连续时间动态治疗效应的识别与因果预测。该方法通过连续时间条件前门调整公式,将潜在结果分布表达为测量模型、潜在动态与滤波分布的组合,并在合成、半合成及真实临床数据上验证了其优于近期序列模型的性能。
针对残差块 x -> x + MLP(x),研究发现同宽度的无残差 MLP 无法精确计算相同函数:对 ReLU^2、ReGLU、SwiGLU、GeGLU 等前沿语言模型所用激活函数,该结论在任意深度下无条件成立。仅无门控的 ReLU 和 GELU 存在吸收可能,但仅限于测度为零的权重集合,两类函数族因此普遍不相交,等宽度下移除残差连接并重训练无法精确复现原函数。
研究提出一种面向MIMO信道的多阶段端到端图像语义通信系统,基于自适应MoE Swin Transformer块,通过动态专家门控机制联合评估实时CSI与图像patch语义内容来计算路由概率,仅激活相关专家子集。仿真结果显示,该方法在保持传输效率的同时,重建质量较现有方法显著提升。
研究提出一种门控主动学习框架,将好奇心驱动采样与基于简谐振子模型拟合的物理信息质量控制过滤器结合,可在数据采集阶段自动排除低保真数据。在PbTiO3薄膜的BEPS数据集上,该方法优于随机采样、标准主动学习和多任务学习策略,并已在另一PbTiO3薄膜样品的实时自主显微镜实验中验证有效。
研究提出质量守恒感知机(MCP)框架,通过在单一 MCP 储水单元中逐步嵌入有界土壤储水、状态依赖导水率、可变孔隙度、下渗能力、地表积水、垂向排水与非线性地下水位动态等水文过程约束,在美国本土 5 个水文气候区共 15 个流域上以日径流预测为目标进行评估。
针对大规模推荐系统中哈希索引的嵌入向量碰撞问题,研究者提出基于线性探测的 Multi-Probe Zero Collision Hash(MPZCH),在合理表规模下可完全消除碰撞。
RAM-Net 将循环状态组织为固定大小的独立槽位数组,通过 Address Decoder 把每个 key 或 query 映射为稀疏地址,只读写少量槽位,从而抑制 token 间干扰。该模型在细粒度长程检索上优于强循环基线,困惑度最低且常识推理具竞争力,每步访问的状态元素比 Mamba2 少 8 倍。论文已被 NeurIPS 2026 接收。
一项研究提出用嵌入向量扰动指标定位 LLM 推理轨迹中的不确定位置,发现不确定的中间续写更易出现在对前序 token 嵌入扰动高度敏感的 token 上。实验显示,该扰动指标在定位不确定中间步骤上优于基于概率、采样和贝叶斯的方法,且兼具简洁与高效。
针对 Wang 和 Chizat(COLT 2024)提出的单时间尺度 MFL-DA 是否收敛到混合纳什均衡的问题,该研究在 Wasserstein 空间中给出了局部肯定回答:当初值足够接近混合纳什均衡时,平均场动力学以量化速率指数收敛。
研究人员提出 STAMP(Stochastic Temporal Autoencoder with Masked Pretraining),一种通过随机过程编码时间信息的 Siamese MAE 框架,以两个输入体积之间的时间差为条件,并将 MAE 重建损失重构为条件变分推理目标。
研究者提出 Mask Fine-Tuning(MFT),一种不修改骨干权重的视觉语言模型适配方法,通过学习掩码选择性路由预训练连接中的信息,动态发现更对齐下游目标的子网络。实验显示 MFT 在多个视觉语言基准上持续优于 Full Fine-Tuning(FFT)和 Parameter-Efficient Fine-Tuning(PEFT),且不增加知识、不改变部署架构。
研究者提出一种变分物理信息拟设(variational physics-informed ansatz),将未知交互算子表示为可训练对象,通过最小化多组异质扰动实验的稳态残差来重建隐藏交互网络。
该研究为高斯分布下二次代价的最优传输(OT)与内积 Gromov-Wasserstein(IGW)对齐给出完整理论刻画,解决了可分 Hilbert 空间上非中心高斯 IGW 对齐这一开放问题,通过等距与余等距上的二次优化给出精确变分刻画及紧的解析上下界。
研究提出 Footprint-Aware Regression(FAR)深度学习框架,同时预测涡度相关通量塔的空间足迹与像素级 CO₂ 通量,避免异质景观下高分辨率数据训练产生的偏差。
研究者提出 Reinforced Hesitation(RH),将 RLVR 的二值奖励改为三元奖励(+1 正确、0 弃权、-λ 错误),在逻辑谜题、MATH Levels 4-5 和医疗 QA 上训练出沿帕累托前沿分布的模型:低惩罚倾向激进作答,高惩罚倾向保守弃权。
针对物理神经网络(PNN)权重调整缓慢的瓶颈,研究者提出 TIDAL-Net,利用 PNN 中快速前向动态与缓慢可训练权重之间的时间尺度分离,通过逐层时间复用提升有效深度并控制实现成本。在图像分类和自然语言处理任务上的数值实验显示,仅需对常规 PNN 做少量修改即可提升性能。
HARL-A 是一个基于 IsaacLab 构建的开源异构多智能体对抗强化学习基准框架,支持任意数量队伍及每队任意机器人形态组合的对抗策略训练与评测。该框架扩展了 HARL 算法库与 IsaacLab,提供模块化架构、Sumo/Soccer/3D Galaga 三个基准环境,以及十余个覆盖同构与异构队伍配置的预训练策略,已公开于 Hugging Face。代码、环境、策略与文档均已开放获取。
研究者提出 Physically-isolated Experts Routing Network(PiERN),一种在 token 级调度计算与推理的架构,使单条思维链内可迭代交替进行高精度数值计算与推理。
研究者提出一种直接遗憾优化方法,通过从候选模型与采集函数集合中蒸馏,联合学习最优模型与非短视采集策略,显式以最小化多步遗憾为目标。该框架用不同超参数的 Gaussian Process 集成生成模拟 BO 轨迹,训练端到端 Decision Transformer 选择下一次查询,并以少量真实评估在线精调 GP。在合成与真实基准上,其最终简单遗憾达到最佳或接近最佳,高维场景增益最大。
针对网络干扰下因果效应估计依赖"网络无混杂假设"、而观测数据中潜在混杂因子常使该假设失效的问题,研究者提出一个混杂因子恢复框架,显式刻画仅影响个体、仅影响邻居、同时影响两者三类潜在混杂因子,并基于可识别表示学习设计网络效应估计器。理论证明了三类潜在混杂因子的可识别性,并据此建立网络效应的形式化识别结果,大量实验验证了理论发现与方法的有效性。该工作已被 IEEE TPAMI 接收。