跳到正文
今天10月7日周三366 条
  1. arXiv cs.CL22

    Nucleus Speculative Decoding:超越精确分布的合理性感知验证

    研究者提出 Nucleus Speculative Decoding(NSD),一种将目标模型合理性纳入验证的宽松投机解码方法:草稿 token 满足标准接受规则或落入目标模型 nucleus 即被接受。实验显示 NSD 相比自回归解码吞吐最高提速 5.16×,相比标准投机解码最高提速 3.15×,同时保持有竞争力的任务表现,并带来更长的接受长度。

  2. arXiv cs.CL25

    读取而非操控:用 Router Logits 为 MoE 视觉语言模型做多模态安全检测

    研究者提出一种轻量级 router-logit 安全检测器,在 prompt prefill 阶段读取 MoE 视觉语言模型的 routing 信号,在生成前识别不安全请求,无需修改模型参数或专家路由。在 Qwen3-VL 和 Kimi-VL 上,该检测器大幅降低 HoliSafe 基准上的安全错误,并泛化到 MISHard 和 MM-SafetyBench 等分布外安全基准。

  3. arXiv cs.CL26

    预填充决策模型的读出稳定性:零标签预测与推理时算力分配

    受 Jev 模型启发的预填充决策模型单次前向即可为候选菜单打分,成本比同规模生成式语言模型低一到两个数量级。当干预只改变候选菜单而输入文本不变时,其干预后准确率可由缓存的首次前向分布预测,无需标签和第二次前向,在七个模型族、十个数据集上误差在 4.2 分以内。

  4. arXiv cs.CL29

    DLoop:循环式投机解码

    DLoop 是一种循环式投机解码方法,在验证前自适应执行多轮起草,让草稿模型在保持置信时持续生成 token,再统一验证所有累积的草稿 token。该方法在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块上把实际加速提升 5% 至 41%,同时保持无损解码。配套的循环感知训练让草稿模型接触未验证草稿 token 的自身隐藏状态,从而在额外起草阶段保持可靠。

  5. arXiv cs.CL22

    HARP:通过显式偏好推断实现异构偏好下的 LLM 编排

    针对现有 LLM 编排器将智能体偏好信念存于提示词、缺乏显式更新规则导致早期错误持续传播的问题,研究者提出 HARP 框架,为每个智能体在有限候选偏好集上维护数值后验并用贝叶斯规则闭式更新,语言模型仅提供动作与各候选似然。HARP 被证明可达到与显式联合推断相同的 Õ(√K) 贝叶斯遗憾,其增强版 HARP⁺ 通过为区分候选的动作加奖励,在最优动作无信息时仍能持续推断。

  6. arXiv cs.LG17

    DePICT:面向受限下游任务的决策保持接口

    研究者提出 DePICT,一种通过按优化器解敏感度对上下文方向排序并跨运行区间聚合,来构建决策保持接口的方法。该方法基于 KKT 条件刻画上下文方向何时与优化器相关,指出出现在活跃优化问题中并不代表变量会影响最终决策,某些方向的影响会被对偶变量吸收。在受控诊断中,DePICT 精确恢复决策相关接口,将线性预测器 regret 降至 0.009,而最强竞争基线为 0.475。

  7. arXiv cs.LG32

    语言模型能从测试时计算中获得多少收益?SELF-POT 基准给出量化答案

    研究者提出 SELF-POT 基准与评估框架,在竞赛数学、竞技编程和智能体工作流中衡量模型的测试时潜力,并按美元计费所有模型调用(含选择与评判)。在 350 个密封任务、五个低成本推理模型上,以 Claude Opus 5.5 Direct 为参照,收益取决于领域、选择规则与失败处理。

  8. arXiv cs.LG17

    对抗性线性 CMDP 的速率最优算法

    针对损失与约束函数随回合对抗变化、转移未知的片段式对抗线性 CMDP,新提出的 primal-dual 算法将 regret 与累积约束违反从 \widetilde{\mathcal{O}}(K^{3/4}) 降至 \widetilde{\mathcal{O}}(\sqrt{K}),且无需 Slater 条件。

  9. arXiv cs.LG22

    奖励即观测:学习基于奖励的策略以实现快速适应

    研究者提出一种仅以奖励和动作为条件的奖励策略,可在观测空间完全不同的源环境与目标环境之间实现零样本迁移。该策略在 Pointmass、Cartpole 和 2D Car Racing 三个环境中训练后,可零样本迁移到不同配色、3D 渲染以及 Habitat-Sim 中的 Stretch 机器人导航任务。基于奖励的策略还能进一步引导目标环境中基于观测的策略训练。

  10. arXiv cs.CL29

    如何从模型内部识别真实内省:LLM 自我报告的机制特征研究

    研究者用低秩适配器训练模型按隐含线性偏好函数为虚构角色做决策,发现持续微调能让模型在无显式自我报告监督下准确报告自身学到的偏好。权重消融与冻结层实验显示偏好表征随训练前移至更早层,而 attribution patching 发现忠实模型的决策与自我报告任务间归因相似度显著更高,可作为区分忠实与不忠实自我报告的机制特征。

  11. arXiv cs.CL22

    语言模型潜在结构的因果影响力由什么决定:容量、响应性与对齐

    研究将语言模型激活空间中潜在结构的因果影响力拆解为容量、响应性与对齐三个因素,在4个LM家族和50个概念上验证三者需同时较高才有效。容量或响应性偏低分别使因果效果下降84%和95%,对齐偏低甚至会逆转效果、抑制概念表达。基于此提出的因果探针将跨模型引导效果提升17%-118%,概念检测仅下降3%。

  12. arXiv cs.LG23

    大语言模型强化学习置信度校准中奖励函数的有效性研究

    研究探讨用强化学习训练大语言模型同时提升推理准确率并输出置信度时,奖励函数设计不当会诱发"置信度奖励黑客"现象,即模型为让置信度显得校准而故意答错。作者提出"不可黑客攻击的置信度奖励方案"概念及构造方法,并证明可攻击方案在实际数据集上会出现选择性奖励黑客,而不可攻击方案能抵抗该问题。实验还表明不同方案在过度自信—信心不足谱系上呈现相应的校准偏差。

  13. arXiv cs.LG22

    MSPR:面向目标条件强化学习的多尺度预测表征

    针对离线目标条件强化学习(GCRL)在稀疏奖励下编码器易学到与目标无关特征、导致策略学习不稳定的问题,研究者提出 MSPR 框架,通过多尺度预测监督在隐空间中强化目标导向对齐。该方法在视觉与状态任务上均取得强劲表现,并在具有挑战性的真实数据条件下保持 SOTA 性能。

  14. arXiv cs.LG24

    Particle MCTS:面向 GPU 批并行的并行蒙特卡洛树搜索算法

    研究者提出 Particle MCTS(PMCTS),一种适配神经网络评估、面向 GPU 批并行加速的并行 MCTS 算法,同时保留 MCTS 的近似策略改进解释。PMCTS 随并行算力扩展良好,在 Chess、19x19 Go、9x9 Go、Gardner Chess、Snake、Brax 经典控制环境及 Sokoban 中的 LLM 推理等离散与连续动作基准上,持续优于或比肩主流启发式基线。

  15. arXiv cs.LG18

    Observable Neural ODEs:连续时间下可识别因果预测的新方法

    研究者提出 Observable Neural ODEs(ObsNODEs),一种基于可观测标准型的 Neural ODE 模型,可在隐藏混杂和部分观测状态下实现连续时间动态治疗效应的识别与因果预测。该方法通过连续时间条件前门调整公式,将潜在结果分布表达为测量模型、潜在动态与滤波分布的组合,并在合成、半合成及真实临床数据上验证了其优于近期序列模型的性能。

  16. arXiv cs.LG24

    MLP 能否精确吸收自身的残差连接?研究给出否定答案

    针对残差块 x -> x + MLP(x),研究发现同宽度的无残差 MLP 无法精确计算相同函数:对 ReLU^2、ReGLU、SwiGLU、GeGLU 等前沿语言模型所用激活函数,该结论在任意深度下无条件成立。仅无门控的 ReLU 和 GELU 存在吸收可能,但仅限于测度为零的权重集合,两类函数族因此普遍不相交,等宽度下移除残差连接并重训练无法精确复现原函数。

  17. arXiv cs.LG13

    基于混合专家机制的自适应无线图像语义通信

    研究提出一种面向MIMO信道的多阶段端到端图像语义通信系统,基于自适应MoE Swin Transformer块,通过动态专家门控机制联合评估实时CSI与图像patch语义内容来计算路由概率,仅激活相关专家子集。仿真结果显示,该方法在保持传输效率的同时,重建质量较现有方法显著提升。

  18. arXiv cs.LG29

    RAM-Net:用稀疏可寻址状态实现线性时间序列建模

    RAM-Net 将循环状态组织为固定大小的独立槽位数组,通过 Address Decoder 把每个 key 或 query 映射为稀疏地址,只读写少量槽位,从而抑制 token 间干扰。该模型在细粒度长程检索上优于强循环基线,困惑度最低且常识推理具竞争力,每步访问的状态元素比 Mamba2 少 8 倍。论文已被 NeurIPS 2026 接收。

  19. arXiv cs.LG22

    贝叶斯优化中的直接遗憾优化(Direct Regret Optimization)

    研究者提出一种直接遗憾优化方法,通过从候选模型与采集函数集合中蒸馏,联合学习最优模型与非短视采集策略,显式以最小化多步遗憾为目标。该框架用不同超参数的 Gaussian Process 集成生成模拟 BO 轨迹,训练端到端 Decision Transformer 选择下一次查询,并以少量真实评估在线精调 GP。在合成与真实基准上,其最终简单遗憾达到最佳或接近最佳,高维场景增益最大。

  20. arXiv cs.LG17

    无需网络无混杂假设的网络干扰下因果效应估计

    针对网络干扰下因果效应估计依赖"网络无混杂假设"、而观测数据中潜在混杂因子常使该假设失效的问题,研究者提出一个混杂因子恢复框架,显式刻画仅影响个体、仅影响邻居、同时影响两者三类潜在混杂因子,并基于可识别表示学习设计网络效应估计器。理论证明了三类潜在混杂因子的可识别性,并据此建立网络效应的形式化识别结果,大量实验验证了理论发现与方法的有效性。该工作已被 IEEE TPAMI 接收。