稀疏支持向量机的高维统计推断
研究者提出一套针对稀疏支持向量机(SVM)的高维统计推断框架,在样本量与特征数成比例增长时,通过将 L1 惩罚 SVM 表示为线性规划并借助对偶变量识别 hinge 损失次梯度,得到坐标渐近高斯的去偏估计量。该方法可给出单个特征的置信区间与假设检验,并实现错误发现率受控的变量选择,在强相关协方差结构下的模拟及高维乳腺癌基因表达数据分析中验证了校准、功效与变量选择表现。
研究者提出一套针对稀疏支持向量机(SVM)的高维统计推断框架,在样本量与特征数成比例增长时,通过将 L1 惩罚 SVM 表示为线性规划并借助对偶变量识别 hinge 损失次梯度,得到坐标渐近高斯的去偏估计量。该方法可给出单个特征的置信区间与假设检验,并实现错误发现率受控的变量选择,在强相关协方差结构下的模拟及高维乳腺癌基因表达数据分析中验证了校准、功效与变量选择表现。
研究者提出一种基于生成式传输的两样本检验方法:直接在两个样本间构建随机插值,利用对称调度下时间反射 t↦1-t 的分布不变性,通过计算 t 与 1-t 时刻边缘分布的 Jensen-Shannon 散度来判断两组样本是否同分布。该方法无需学习、通过置换校准获得精确有限样本水平,在窄加宽噪声设计下达到极小极大分离率 n^{-2s/(4s+d)},实验表现匹配或优于 SOTA 核两样本检验。
针对空间自相关导致相邻像素信息冗余、样本量被高估的问题,研究证明 n×n 图像在相关范围为 r 像素时有效样本量为 Θ(n²/r²) 而非 n²,并给出紧致下界表明无算法能更优。
针对仅能获取 P0 与 P1 独立同分布模拟样本、无法获得解析密度的场景,研究者构造了 e-test 鞅,实现具有随时有效第一类错误保证的序贯检验。该方法具备近似增长最优性、几何衰减的第二类错误界,且渐近功效为 1。
针对隐藏混杂下近端因果推断需求解病态积分方程、对数据量和超参数敏感的问题,研究者提出 ProximalFM,用 prior-data fitted networks(PFNs)将贝叶斯算子反演摊销为单次 Transformer 前向传播,直接建模 CATE 的贝叶斯后验分布。
研究证明,固定时间尺度比与非递增步长的双时间尺度 SGDA 在非凸-PL 博弈中复杂度下界为 Ω(κ²ℓε⁻²+κ⁴ℓσ²ε⁻⁴),与现有 SGDA 上界吻合,并与 Smoothed-AGDA 形成复杂度分离。当时间尺度比小至 o(κ²) 时,SGDA 甚至无法找到稳定点,凸显其在 NC-PL 博弈中的根本局限。
研究将 LLM 评委的评测机制近似为一类 Markov GLMM,并在三个主流商用 LLM 上通过样本外预测验证。基于一阶 Markov GLMM 的分析显示,随机化提示词顺序再取平均的排行榜选择在温和分离条件下具有一致性,Williams 方设计可在项目质量接近时提升效率;而分组比较中,由于响应模型的非线性,简单平均可能得出关于组间质量差异的不一致结论。
研究者提出一种基于调和权重的在线校准算法,对 d 个二值结果同时预测(Y=[0,1]^d)可在 d^{O(1/ε)} 轮内实现 ε-校准,将维度依赖从指数级降至多项式级。该方法对多分类预测(Y=Δ_d)同样达到 d^{O(1/ε)} 速率,优于此前 d^{Õ(1/ε²)} 的界。算法每轮输出过去结果的调和加权分布,其权重源于离散 Hilbert 变换矩阵在任意 L 范数下达到最优差异度。
研究针对以累积奖励几何平均衡量的 Nash 社会福利(NSW)目标,提出轨迹级 Nash 遗憾,先对完整样本路径取几何平均再求期望,比原有指标更严格。同时给出首个高概率 Nash 遗憾界,其两阶段算法 RR-NCB 结合轮询探索与 Nash 置信界索引策略,达到 Õ(√(k/T)) 的最优速率。该工作已被 NeurIPS 2026 接收。
一项数学研究证明,Transformer 将亚高斯输入映射为亚高斯输出,从而保证任意长度 softmax 算子复合的良定义性。研究进一步证明 Transformer 关于 1-Wasserstein 距离满足 Hölder 连续性,并据此给出亚高斯输入与其经验近似之间沿 Transformer 的误差传播估计。
针对均匀离散扩散模型,研究者证明在 $[K]^d$ 上从 $n$ 个 i.i.d. 样本估计未知分布 $P_0$ 时,期望 TV 损失以 $O(\sqrt{s_n(P_0)/n})$ 缩放,KL 散度上界为 $O(\frac{1}{n}s_n(P_0)\log(eK^d/s_n(P_0))\log n)$,其中 $s_n(P_0)$ 为有效支撑集大小。
研究者为序贯校准问题给出首个显式低于 2/3 的指数界 O(T^{0.662942288})。方法上提出两阶段递归标注策略,为 sign-preservation-with-reuse 博弈给出 O(n^α t^β) 界,并改进 Dagan 等人的归约,仅用 O(log T) 次该博弈实例即可从符号保持上界推出校准上界。
针对梯度 EM 在过参数化设置下学习高斯混合模型需真值分量分离度达到 Ω(√d) 的已知结论,该论文证明这一维度依赖在高维下不可避免。作者考虑对混合权重用标准 EM、对分量均值用梯度 EM 的混合算法,证明当维度足够大时,即便在过参数化情形下,Ω(d^{0.5-ε}) 量级的分离度也不足以在次指数时间内保证随机初始化下总体梯度 EM 的全局收敛,从而给出近乎最优的最坏情况下界。
针对顶点无对应的随机图双样本检验,研究给出样本量下界:在 Erdős–Rényi 零假设与保持各期望度不变的两块植入差异下,每组需 m≍t^{-3} 张图(t<1 为单图信噪比),带符号三角形计数可达到该速率;顶点对齐时仅需 m≍t^{-1},错位代价约为 t^{-2}。
研究者提出 L0 Manifold Optimization(L0MO),一种函数贝叶斯优化(FBO)方法,在再生核希尔伯特空间(RKHS)中搜索由核函数稀疏表示构成的子集,同时优化核位置与系数。该方法统一了既有 FBO 工作的视角,并构建了一套将标准有限维测试函数移植到无限维域的新基准。实验显示,L0MO 在广泛测试基准上总体取得优于当前最优方法的性能。
HyperNSDE 是一种连续时间生成模型,通过超网络将潜在 Neural SDE 以静态患者表征为条件,无需轨迹编码器即可让基线特征影响轨迹演化。模型通过潜在状态依赖的强度过程联合建模观测时间,并用确定性-随机路径分解与非对抗性签名核目标稳定不规则随机路径训练。在模拟和真实临床数据集上,观测时间保真度提升,预测与相关性指标受观测网格规律性和轨迹平滑度影响。
研究者提出一种基于 Z-estimation 与新型单调算子的随机近似方法,在协变量分布未知但有界的假设宽松设定下,实现缺失协变量逻辑回归的参数估计,并在协变量完全随机缺失时达到参数速率下的信号恢复。理论刻画了估计量的 ℓ2² 风险与缺失模式的依赖关系,证明其始终优于忽略缺失数据的 complete-case 估计,并给出信息论下界说明该依赖在 minimax 意义下是本质的。
研究量化了自然梯度下降(NGD)相对 Fisher–Rao 测地线的低效比 R≥1,并证明其随参数维度 d 的变化分三种情形:二次势族(如固定协方差高斯)处处 R=1;有界三阶偏度加有限 Fisher–Rao 直径时 R 有与维度无关的上界;尺度族乘积(含高斯协方差与 Gamma 速率)下 R 以 Θ(√log d) 增长、随 d 无界。
研究者提出 ORUCB,在在线学习延迟(online learning to defer)场景中,让学习器在购买专家答案前先固定一个修正函数,再对收到的答案应用该函数。该方法通过池化共享与专家专属的多项式响应,在固定问题参数下实现高概率伪遗憾 O(√T log(T+1))。在四个测试流上,所选三次策略的费用包含成本低于七个直接使用原始答案的基线。
研究用两参数 softmax-attention 模型分析基于梯度的预训练如何学习决策阈值:在大分辨率初始化下,对 m 个任务(每个 n 个样本)做恒定步长梯度下降,可得到误差为 Õ((m∧n)⁻¹+N⁻¹) 的冻结估计器,两项分别对应有限预训练精度与新上下文定位。
sHAIL-Causal 是 sHAIL 学习框架的因果特化版本,通过拟合优度饱和与跨环境不变性的联合准则,沿嵌套假设类 H_0 < H_1 < ... < H_K 逐级上升,替代结构风险最小化的复杂度控制。
研究提出条件可迁移性假设,在源研究与目标研究存在人群异质性、测量误差分布依赖观测变量的条件下,利用外部重复测量识别目标条件测量误差分布,并据此构建数据融合估计器 Fuse-EIV。
研究提出 ES-CP 与 FG-Lasso 两种无监督稀疏张量分解方法,通过低秩 CP 分解建模正常过程行为,分别用逐元素 ℓ1 惩罚和逐元素加纤维级惩罚检测局部异常与时间纤维内异常。在多通道锻造过程案例中,FG-Lasso 与 ES-CP 的 macro F₁ 分别达 0.85 和 0.82,高于 TRPCA 和 PCA 类检测器的 0.69 或更低。
研究者提出 Memory Prediction Excess(MPE),用于量化离散时间有限状态过程中,使用全部历史相比仅用静态边缘分布所带来的预测准确率平均提升。MPE 恒为非负,其上限取决于静态准确率,并给出归一化版本与有限历史 MPE(FH-MPE),据此定义达到全历史预测性能所需的最小记忆长度;对有限阶马尔可夫链,该长度被证明不超过马尔可夫阶数。
TAPDreamer 是一种针对世界动作模型的可迁移对抗补丁攻击,仅用公开编码器构造固定局部扰动,无需查询目标策略即可跨任务和动作架构迁移。
Local2Mesh 提出一种空间局部化的轮廓到网格框架,无需 3D 网格标注即可从稀疏 2D 轮廓重建 3D 左心室几何,通过几何感知对齐校正层间错位,并用平面感知 Local Router 按顶点到平面距离将轮廓特征路由至模板顶点。
针对在线平台实验操作去中心化导致的委托代理冲突,研究者将实验设计重构为激励设计问题,提出样本拆分与收缩两种机制。样本拆分以有界流量成本实现激励完全对齐,收缩机制不消耗额外流量且能保证负期望效应的干预无利可图。该工作指出传统显著性阈值和流量预算等集中式手段无法解决这一结构性失效。
研究者提出 Best-of-N Guidance(BoNG),将 BoN 采样直接融入反向扩散过程,通过去噪粒子间的非对称引导交互,把粒子群导向更高奖励区域。在 36 项对比中 BoNG 有 29 项表现最佳,对 SMC 和 Vanilla BoN 的胜率达 80.56%。该方法支持多输出,ImageReward 分数为最新基于采样的引导方法的 1.3 倍,速度提升 1.6 倍,代码已开源。
研究者提出 E$^2$-OPSD,用于解决在线策略自蒸馏(OPSD)中"熵过冲"的失败模式:学生 token 熵超过教师并持续偏高。该方法用检索到的已解邻近问题替代当前答案进行示例引导教学,并依据学生-教师熵差决定每个 token 的修正方向与强度。
一项研究用 14M-1.4B 的 Chinese-Pythia 模型(30B token 训练)分析 token 级 surprisal 对中文阅读时间的预测力,并提出 SMS 对齐方案以调和眼动语料分词与 LM 子词分词的不一致。
研究者提出 Sparse Asymmetric Group-Query Attention(SAGA),将 key 头与 value 头数量解耦,并搭配近似 top-N(Atop-N)稀疏注意力。
WAMJET 是一个智能体加速框架,通过为编码智能体配备可复用的优化指导与测量验证工具,加速 World Action Model(WAM)推理。它采用瓶颈驱动流程,让智能体分析推理、修改代码、验证效果并迭代优化加速栈,在六种 WAM、三种编码智能体和两种 GPU 架构上实现最高 9.95x 无损加速,近似与硬件感知优化还能进一步降低延迟且成功率相当。
研究针对 Mamba2 等选择性 SSM 在分布式学习中缺乏架构感知理论的问题,推导了单层与多层选择性 SSM 的梯度与平滑性边界,以及 FedAvg 和 FedProx 的收敛边界,刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。作者在教师 SSM 生成的序列上数值验证了单层边界,并在六个文本域上对比九种联邦学习算法用于 Mamba2 语言建模。
研究者提出 Completion Aware Guidance(CAG),一种免训练采样方法,用于解决 World Action Models(WAMs)在短片段控制下出现的任务不完整想象问题。在代表性 WAMs 上,CAG 将 RoboTwin 2.0 子集成功率从 64% 提升至 70%,零样本仿真中从 69% 提升至 75%,并将任务不完整想象从 79% 降至 40%。
一项受控实验用 30 个工件、150 个植入错误、10 种审查条件和 900 次审查会话,测试了来自两家开发商的三个审查模型。顶级跨模型审查者的 F1 与同模型新会话审查(CCR)无显著差异,但两者发现的错误仅部分重叠(Jaccard 41.2%)。
论文提出 policy-space scaling,通过融合同一次 RL 训练中的两个检查点,在不延长训练、不增加单次推理计算的前提下获得更强策略。方法 SURGE 将高精度 anchor 与生成更短回复的 donor 表示为相对共享初始化的更新,再对 anchor 更新做谱分解,保留其主导成分并融入 donor 的互补成分。
KlinikeBench 是一个包含 333 个临床医生编写任务的基准,每个任务提供虚拟患者、临床工具和任务专属成功标准,超过 35 位临床医生参与编写与评估。
研究团队发布 FineART 双臂操作数据集,含 40,543 条轨迹(1,718 小时)、533,913 个子任务,覆盖 151 项任务,并推出可预测下一子任务的视觉-语言-动作策略 FineART-VLA。
研究者提出由 AI 开发的局部红外减除框架,在人类物理指导下由 LLM 给出两种实现:一种用神经网络做相空间投影并拟合 Born contact,另一种用解析构造直接计算 contact 项,无需切片参数。
论文提出智能体数据空间中的"作者身份风险":智能体既是治理策略的对象又是其作者,会写出约束自身的规范,因此应确立原则——智能体只是治理平面的对象,永远不是其作者。