Fuse-EIV:面向误差变量问题的数据融合估计方法
研究提出条件可迁移性假设,在源研究与目标研究存在人群异质性、测量误差分布依赖观测变量的条件下,利用外部重复测量识别目标条件测量误差分布,并据此构建数据融合估计器 Fuse-EIV。
研究提出条件可迁移性假设,在源研究与目标研究存在人群异质性、测量误差分布依赖观测变量的条件下,利用外部重复测量识别目标条件测量误差分布,并据此构建数据融合估计器 Fuse-EIV。
研究提出 ES-CP 与 FG-Lasso 两种无监督稀疏张量分解方法,通过低秩 CP 分解建模正常过程行为,分别用逐元素 ℓ1 惩罚和逐元素加纤维级惩罚检测局部异常与时间纤维内异常。在多通道锻造过程案例中,FG-Lasso 与 ES-CP 的 macro F₁ 分别达 0.85 和 0.82,高于 TRPCA 和 PCA 类检测器的 0.69 或更低。
研究者提出 E$^2$-OPSD,用于解决在线策略自蒸馏(OPSD)中"熵过冲"的失败模式:学生 token 熵超过教师并持续偏高。该方法用检索到的已解邻近问题替代当前答案进行示例引导教学,并依据学生-教师熵差决定每个 token 的修正方向与强度。
一项研究用 14M-1.4B 的 Chinese-Pythia 模型(30B token 训练)分析 token 级 surprisal 对中文阅读时间的预测力,并提出 SMS 对齐方案以调和眼动语料分词与 LM 子词分词的不一致。
研究针对 Mamba2 等选择性 SSM 在分布式学习中缺乏架构感知理论的问题,推导了单层与多层选择性 SSM 的梯度与平滑性边界,以及 FedAvg 和 FedProx 的收敛边界,刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。作者在教师 SSM 生成的序列上数值验证了单层边界,并在六个文本域上对比九种联邦学习算法用于 Mamba2 语言建模。
论文提出 policy-space scaling,通过融合同一次 RL 训练中的两个检查点,在不延长训练、不增加单次推理计算的前提下获得更强策略。方法 SURGE 将高精度 anchor 与生成更短回复的 donor 表示为相对共享初始化的更新,再对 anchor 更新做谱分解,保留其主导成分并融入 donor 的互补成分。
KlinikeBench 是一个包含 333 个临床医生编写任务的基准,每个任务提供虚拟患者、临床工具和任务专属成功标准,超过 35 位临床医生参与编写与评估。
研究团队发布 FineART 双臂操作数据集,含 40,543 条轨迹(1,718 小时)、533,913 个子任务,覆盖 151 项任务,并推出可预测下一子任务的视觉-语言-动作策略 FineART-VLA。
研究者提出 NormPaST-Risk,将在线手写阿尔茨海默病(AD)检测重构为局部疾病相关片段发现,通过多尺度时序编码器与选择性 Paper-Air 状态空间编码器建模笔画动态,区分纸面运动执行与空中规划行为。
PertMind 将细胞扰动图谱转化为强化学习环境,以实测基因响应作为可计算奖励,结合可信轨迹监督初始化与基因、通路、格式三级强化信号。该模型仅在正向扰动响应预测上训练,却在未见细胞环境中提升响应推断,并零样本迁移至反向扰动识别、双扰动推理、表型筛选优先级排序和生物过程解读。
研究者提出一种多尺度视觉特征表示,将边缘与轮廓特征及其空间关系编码后,集成进无梯度的发展式学习框架,在类增量 MNIST 上大幅提升识别准确率。该方法无需回放缓冲区或预设任务边界,存储量相当时可匹配或超越基于回放与正则化的基线,且不遗忘旧类别。学到的表示保持人类可解释性,基线方法则在训练周期内丢失大部分刚学类别后再重新学习。
研究者提出 Retrieval-Augmented Interpretable Learning(RAIL),一种概率元学习框架,可从自然语言任务描述和已学预测器记忆中合成系数空间结构,零样本生成任务特定的可解释模型。
研究者提出用程序合成近似 Transformer 注意力头行为的方法:先计算注意力矩阵,再让预训练语言模型据此生成 Python 程序,最后按留出输入上的预测效果重排序。
研究者提出 support-conditioned control-sensitivity regularization,通过促进训练充分区域的局部响应性来保留控制引发的状态变化,解决学习动力学对控制不敏感、掩盖 OOD 信号的问题。该方法在视觉避障、操作和真实机器人导航实验中提升了 OOD 检测能力与闭环规划安全性,论文已被 CoRL 2026 接收。
研究揭示推理训练语言模型在数千至数十万候选标签中做多标签选择时,依赖一组小型、全局、分阶段的注意力头,在 MIMIC-IV 临床编码任务(5,651 个诊断码全部入上下文)中经消融与 knock-in 验证为必要且充分。作者提出 MISTILL,在决策事件处额外监督学生模型的池化注意力,跨家族学生对比决策的因果恢复近乎翻倍。
FFR 是首个将 Forward-Forward(FF)学习扩展到真实回归任务的框架,在六个真实回归基准上平均恢复 BP 精度的 98.5%,同时将深度 8 时的峰值训练内存降至 BP 的 27%、深度 32 时降至 8%,单次迭代时间约为 BP 的 72%。它引入序数竞争 goodness 函数、分层阶梯架构与带不确定性估计的层次化预测三项创新,显著优于所有无 BP 的竞争方法。
研究团队提出 GPU 加速的持续强化学习域 Banyan,可参数化控制地图布局、交互对象和子目标依赖层级三个独立任务轴。实验发现,沿各轴增加多样性会带来系统性迁移,但多样性过高会抑制学习器持续适应新任务分布的能力:在新任务上成功率趋于平台,却在旧任务上持续提升。该现象在多种持续学习算法、记忆架构、模型规模以及物理控制域 Kinetix 中均成立。
D3S2 是面向语义分割的扩散引导数据集蒸馏框架,采用类平衡掩码选择与扩散引导图像合成两阶段设计,通过分割一致性损失和类级特征匹配损失提升合成数据训练效用。在 1% 压缩率下,该方法在 ADE20K 和 COCO-Stuff 上以 Mask2Former(Swin-S)分别达到 24.99% 和 35.49% mIoU,较随机选择高出 9.34% 和 5.70%。代码已开源。
研究者提出 Distribution-Aware Reward(DAR),一种 on-policy 强化学习目标,通过联合评估同一输入下多次预测形成的经验预测分布,并按留一法贡献为每个预测分配奖励。在合成插值/外推任务及代码、分子两个真实科学回归任务上,DAR 相比监督微调和逐点强化学习降低了预测误差、提升了排序质量,并给出校准更好的不确定性估计。
KadiAssistant 是一款集成于 Kadi 科研数据生态的隐私设计 AI 助手,结合自托管大语言模型与隐私保护语义搜索,可访问 Kadi 上的文件与记录元数据,帮助研究人员检索、聚合和结构化异构科研数据。该助手遵循 Kadi 的细粒度访问权限控制,旨在打通材料科学等跨学科领域的术语与标准壁垒,并强化 FAIR 原则中的可发现性。
研究者提出随机惩罚-障碍法(SPBM),通过引入对偶变量的指数平均、稳定化的惩罚调度和 Moreau 包络来处理非光滑性,用于约束机器学习(CML)问题。在公平性和物理信息神经网络实验中,SPBM 与当前最优方法相比具有竞争力。在公平性基准上,当约束数量从 90 增至 9900 时,CML 方法的每轮运行时间基本与约束数量无关,且不超过正则化 Adam 每轮运行时间的 1.3 倍。
一种新的神经优化方法通过迭代精炼从噪声样本中寻找全局最小值,在多模态测试函数上平均误差为 8.05%,相比样条初始化的 36.24% 提升了 28.18%。该模型在 72% 的测试案例中成功找到全局最小值且误差低于 10%,无需导数信息或多次重启。
针对移动边缘设备上 MoE 大语言模型联邦微调中的数据异构问题,研究者提出联邦聚合对齐框架 FedAlign-MoE,通过一致性加权对齐路由分布、分布正则优化本地门控网络,并量化同索引专家的语义一致性以选择性聚合。实验显示,该框架在非 IID 联邦环境下收敛更快、精度更高,且计算轻量、通信高效。
UniST-Pred 是一个统一时空交通预测框架,先将时间建模与空间表征学习解耦,再通过自适应表征级融合将两者整合。研究基于 MATSim 微观交通模拟器构建数据集,在严重网络断连场景下评估其鲁棒性,并在标准交通预测数据集上取得与现有成熟模型相当的竞争性表现,同时保持轻量设计。源代码与生成数据集已公开。
研究基于 X 平台向法国 682 名志愿者展示的 250 万条 "Who to Follow" 推荐,重建了 X 推荐系统对 26,509 个账号的嵌入向量近似值,并计算出经调查校准的意识形态分数。该嵌入中存在一个按左—右政治立场排序的方向(Pearson rho = 0.887),且区别于年龄、性别或热度方向,移除该方向可在精度损失有限的情况下提升推荐多样性。
研究者提出异步 gossip 原始-对偶算法 Goal-PD,每个节点仅需维护两个变量,不再随节点度数增长,从而大幅降低去中心化学习的显存开销。该算法被证明几乎必然收敛到最优解,并在目标函数为分段线性二次时具有线性收敛速度;在去中心化均值估计中,成对平均被证明是 Goal-PD 的特例。
研究者提出 Balanced Fine-Tuning(BFT),一种双尺度后训练方法,通过组归一化 token 重加权与序列级重分配,让模型聚焦知识密集、认知不确定性高的样本。
针对 PPO、GRPO 等 RL 算法在离策略训练多轮 LLM 智能体时优化不稳定、易性能崩溃的问题,研究者提出 SORL 框架,并实例化出 SO-PPO 与 SO-GRPO 两种算法。
针对现有均方误差等学习目标忽略未来步标签自相关、且对不同预测步采用等权处理的问题,研究者提出二次型加权学习目标及 Quadratic Direct Forecast(QDF)学习算法,通过自适应更新的加权矩阵训练预测模型。实验显示 QDF 能有效提升多种预测模型性能,达到 SOTA,代码已开源,该工作被 ICLR 2026 接收。
针对时间序列预测中直接预测(DF)依赖均方误差估计条件负对数似然、在标签序列存在自相关时产生偏差的问题,研究者提出 DistDF,通过最小化预测与标签序列条件分布间的分布差异实现对齐。该方法引入联合分布 Wasserstein 差异,可证明其上界为所需条件差异,且可处理、可微、兼容梯度优化。实验显示 DistDF 提升了多种预测模型并取得领先性能,代码已开源,论文被 ICLR 2026 接收。
研究提出 Hermite 特征结构假设(HEA),仅用经验数据协方差矩阵和目标函数的经验多项式分解两项测量,即可预测核回归在 CIFAR-5m、SVHN、ImageNet 等真实数据集上的学习曲线。该假设在高斯数据上得到证明,真实图像数据也"足够高斯"使其成立;研究还发现 MLP 在特征学习阶段按 HEA 预测的顺序学习 Hermite 多项式。
一项 arXiv 研究系统评估了图像类联邦学习场景下梯度反转攻击的实际可行性,覆盖图像分类与目标检测任务及当代分辨率的经典视觉架构。结果显示,现代性能优化模型在视觉上始终能抵抗有意义的图像重建,此前的成功案例多依赖推理模式运行或架构简化等上界设定。在诚实但好奇的服务器假设下,高保真图像重建不构成生产级联邦学习系统的关键隐私风险。
研究者提出 CMCM-DLM,一个模块化框架,可将预训练扩散模型扩展至支持异构分子约束而无需重训主干。该框架用结构控制模块(SCM)在扩散早期引导分子骨架生成,再由性质控制模块(PCM)将生成导向目标化学性质。多数据集实验显示其具备有效的跨模态可控性与较强适应性。
FedCoT 是一个联邦推理框架,通过轻量级 CoT 重采样配合紧凑判别器筛选,并用客户端感知的 LoRA 堆叠与加权分类器聚合来应对数据异构、降低聚合噪声和通信开销。客户端本地生成候选推理链与监督信号,服务器仅聚合轻量模块,数据始终保留在本地。在医疗推理基准上,该方法在紧张资源预算下取得稳定提升,代码已公开,论文被 EMNLP 2026 收录。
研究用认知评价理论构建了覆盖 15 种情绪类别的基准数据集,通过行为表征对比 LLM 与人类的情感概念结构。结果显示 LLM 的情感表征比人类更分类化、同质化和确定化,单一情绪概念内部多样性更低、不同情绪间距更大,且该分类结构对任务框架和人口学角色等上下文变化保持稳健。
针对时间序列预测中时序均方误差忽略标签自相关、任务数量过多的问题,研究者提出变换增强损失函数 Time-o1,将标签序列变换为去相关且显著性可区分的分量,让模型对齐最显著分量。实验显示 Time-o1 达到 SOTA 性能,并兼容多种预测模型,代码已开源,该工作被 NeurIPS 2025 接收为 poster。
研究者提出 KO(Kinetics-inspired Optimizer),一种基于动力学理论与偏微分方程的可插拔优化模块,通过离散化 Boltzmann 输运方程引入随机交互来增强参数多样性、缓解权重凝聚。理论分析表明 KO 可证明地提升参数多样性并保持收敛保证。在 CIFAR-10/100、ImageNet 图像分类和大规模语言模型预训练中,KO 以可忽略的额外计算成本持续提升准确率。
研究者提出 Mask Fine-Tuning(MFT),一种在不更新模型权重的前提下,对已充分微调的 LLM 学习并施加二值掩码的微调范式,用标准微调目标做监督。在 LLaMA2-7B 与 LLaMA3.1-8B 上,MFT 使用相同微调数据集在 IFEval 上平均提升 2.70/4.15。该方法可与现有 LLM 优化流程兼容,并将掩码操作从网络剪枝压缩拓展到更广泛的模型能力提升。
研究提出 Robustness Inheritance Benchmark(ImageNet-RIB),用于评估预训练模型微调后的鲁棒性保持情况。结果显示,在 LAION-2B 等最大最多样数据集上预训练的模型,在小数据集上微调后鲁棒性损失更大、绝对鲁棒性更低,这种崩溃出现在 CLIP 等对比预训练模型及其微调变体中,并随预训练规模增大而加剧,而所测试的监督模型未出现该现象。
针对直接预测(DF)范式忽略未来标签间自相关导致学习目标有偏的问题,研究者提出频域增强直接预测方法 FreDF,通过在频域中学习预测来缓解标签自相关、降低估计偏差。实验显示 FreDF 显著优于现有 SOTA 方法,并兼容多种预测模型,代码已开源,该工作被 ICLR 2025 接收。