跳到正文
今天10月7日周三366 条
  1. arXiv cs.AI29

    Apple 提出 Stepped MoE:段级路由实现可配置推理复杂度

    Apple 提出 Stepped MoE 框架,将弹性结构与稀疏门控架构结合,让单一模型可在 1、2、3、4 billion 参数间灵活切换,并保持输入自适应路由。该模型在知识密集型基准上比同规模稠密模型准确率高 2-5%,延迟与稠密模型相当,同时通过共享参数节省设备磁盘空间,适配端侧推理的 DRAM 与算力限制。

  2. arXiv cs.AI22

    FlexiFlow:基于多臂老虎机的 ML 工作流模型动态切换

    FlexiFlow 是一个数据流系统,能在当前模型准确率偏低时动态切换到备选模型,通过多臂老虎机方法对模型进行排序,综合考虑模型运行时间、通过用户自定义断言的概率以及 ML 工作流的计算结构。实验显示,切换模型可将工作流准确率提升最高 23%,运行时复用中间结果相比顺序执行工作流还能带来 48% 的效率提升。

  3. arXiv cs.AI29

    最小见证强化学习 MWRL:让模型从验证器反馈中学会完整见证族

    研究者提出最小见证强化学习(MWRL),将"找出全部最小充分见证"形式化为最小见证识别问题,仅凭单个黑盒验证器的反馈位即可完成信用分配。该方法从问题定义直接推导,统一了最小性与备选解恢复两项要求,并据此给出可恢复完整见证族的值迭代规划器和可扩展到大语言模型的策略梯度方法。实验中 MWRL 能找回大部分最小见证,而其他方法只返回冗余超集或单一见证。

  4. arXiv cs.AI22

    能否预测 LLM 评审的位置翻转?基于残差流激活的线性探针研究

    研究发现,LLM 评审在候选回答顺序调换时可能改变判定,而判定前的残差流激活可预测这种位置翻转。在 JudgeBench 的 534 对样本上,针对三个 Qwen3 评审和 Llama-3.1-8B 训练的线性探针 AUROC 达 .621-.850,比结合语言化置信度、判定标签 logits、回答长度和初始选择的基线高 .062-.113。

  5. arXiv cs.AI24

    推荐系统递归自我改进不止看后继模型精度:状态保留与跨代优势 CGA

    研究提出推荐系统递归自我改进(Rec-RSI)中的"分布式进展"问题,并用跨代优势(CGA)量化跨代与同代模型对的差异。在四个数据集和三种序列推荐编码器上,GRU4Rec 和 SASRec 更适合跨代配对,FMLP 首次更新偏向同代配对、第二次更新后转向跨代配对;秩分离统计在 12/12 首次更新和 5/6 第二次更新设置中选出更强模型族,留出测试中 34/36 条轨迹优于直接后继模型。

  6. arXiv cs.AI23

    macro2mind:用预测市场信号训练 LLM 学习个体行为推理

    研究者提出 macro2mind,用 GRPO 结合预测市场价格信号训练语言模型,将行为推理拆解为推断市场参与者群体、预测其信念更新并聚合为价格的显式步骤。该方法在 SWM-Bench 的 Polymarket 数据上取得 SOTA 方向准确率与相关性,并零样本迁移至 Humanual、OvertonBench、PRISM、CAD 四个用户模拟基准。

  7. arXiv cs.AI22

    TRIAGE:面向原生 NVFP4 强化学习的方向感知失配稳定方法

    TRIAGE 是一种方向感知的稳定方法,通过段级诊断选择性再平衡策略梯度更新,并对残余严重失配做有界修复,从而在采样器和学习器上保留原生 NVFP4 的 W4A4 前向执行。在 Qwen3-4B 与 Qwen3-30B-A3B 上,该方法在整个训练周期内保持稳定优化,在五个数学推理基准上达到全精度水平,rollout 吞吐量较 BF16 最高提升 2.3 倍。

  8. arXiv cs.AI22

    知识蒸馏与量化压缩用于生物医学领域神经机器翻译研究

    研究将知识蒸馏与量化联合应用于法译英生物医学翻译,蒸馏并量化的学生模型相比原始基线体积缩小69%、推理速度提升98.21%、CO2排放降低98.46%,且未牺牲翻译质量。该工作还开发并比较了多种微调策略,以让压缩后的学生模型适应专业术语密集、平行语料稀缺的低资源领域。

  9. arXiv cs.AI30

    DART-ES:面向 Evolution Strategies 微调 LLM 的难度感知重加权与定向回放

    DART-ES 通过扰动种群通过率估计题目局部可解性并聚合历史观测构建动态难度状态,联合指导难度重加权与稀有可解样本回放,无需额外难度模型或反向传播。它在五个基座模型上均优于 ES,平均准确率从 72.07% 提升至 73.53%,超过 GRPO 在 GSM8K 上的 73.26%;在五个数学推理基准上平均准确率达 49.20%。

  10. arXiv cs.AI24

    Transformer 拒绝机制中的组件与维度稀疏性

    研究将 LLM 的拒绝行为引导分解为组件级干预,在四个开源权重模型中发现拒绝方向集中于仅占上游组件 28–48% 的稀疏子集,仍保留 88–101% 的引导效果。在这些机制内部,有效引导进一步集中于约 50% 的残差流维度,保留 85–98% 的组件机制基线效果。团队已开源全部代码与原始实验结果。

  11. arXiv cs.AI22

    对齐中线性奖励的公理可满足性:用最小松弛量满足 PO 与 PMC

    针对线性奖励拟合人类偏好时无法满足 PO 与 PMC 公理的问题,研究者将线性模型放宽为允许每个候选者带有松弛量,求出满足公理且总松弛量最小的松弛线性奖励。当候选数 m 且 margin η 不超过 O(1/m²) 时,最优总松弛量上界为 O(1),并给出紧实例。新方法对每次比较错误的线性部分计费,同时最小化总松弛量与违规数,实验显示其线性奖励优于线性 BTL。

  12. arXiv cs.AI26

    PPWM:面向精准高效长时程规划的并行预测世界模型

    研究者提出并行预测世界模型(PPWM),可并行预测有限时程轨迹,同时保留未来表示之间的因果交互,从而去除自回归 rollout 中逐状态解码反馈路径。在四项视觉控制任务上,PPWM 取得最低的长时程预测误差和最高的 CEM 模拟器成功率,CEM 规划速度平均超过自回归 LeWM 基线 3 倍以上。

  13. arXiv cs.AI22

    MoF:面向黑盒 LLM 个性化的偏好感知混合建模

    针对黑盒 LLM 个性化中用户专属评分头导致参数量随用户数线性增长的问题,研究者提出 Mixture-of-Facets(MoF)框架,将用户偏好建模为共享潜在偏好分面的组合,通过历史条件路由在共享分面头上实现个性化。MoF 无需额外参数更新即可泛化到训练中未见的用户,在多种个性化任务上取得更强性能,同时保持更可扩展、更参数高效的设计。该工作已被 EMNLP 2026 接收。

  14. arXiv cs.AI41

    用 AI 辅助完成庞加莱猜想的 Lean 4 形式化

    研究团队完成了庞加莱猜想的 AI 辅助 Lean 4 形式化,项目起步时几何分析方向可复用的形式化基础设施十分有限。他们用数学家编写的证明蓝图配合明确的里程碑陈述来组织工作,使多个智能体可并行推进,并让数学家能定位阻塞点、给出有效数学指导。该工作分析了这一流程背后的人工介入与组织选择,为未来形式化项目提供了可复用基础设施的起点。

  15. arXiv cs.AI27

    zkLLMPoT:面向大语言模型训练的高效零知识证明框架

    zkLLMPoT 是一个零知识框架,通过前向评估而非验证优化轨迹来证明训练后检查点的审计属性,认证成本与训练迭代次数无关。该框架分两阶段:训练方固定架构并提交权重,审计方选择挑战序列后,训练方证明模型在这些序列上的目标值。在四类模型家族上,1.1-1.5B 参数模型证明耗时 41-59 秒,13B 模型为 131 秒,序列长度 512 时验证时间低于半秒。

  16. arXiv cs.AI22

    OSFP4:面向 NVFP4 量化的对角平滑与块缩放联合优化

    研究者提出 NVFP4 量化方案 OSFP4,对每个线性投影使用对角平滑矩阵,在 NVFP4 下联合优化平滑项与块缩放以最小化矩阵乘量化误差,并兼容 round-to-nearest 与 GPTQ 式逐次干扰消除。实验显示 OSFP4 在对应量化设置下取得所评估方案中最高的平均精度,同时保留约 94-97% 的厂商 NVFP4 prefill 吞吐,代码已开源。

  17. arXiv cs.AI26

    神经解码中上下文先验下的置信度排序反转

    研究发现,上下文先验在提升神经到语言解码候选分数的同时,会让残留错误变得更自信。在 MEG-MASC 上,区分修复与残留错误的 AUROC 从初始排名 2-3 时的 0.70 降至排名 21-50 时的 0.39,而排名 20 之后的错误占融合后全部错误的 46.6%。分别读取局部与先验分数可改善选择性解码,解码器在 74.5% 的窗口作答(原为 56.7%),92% 的输出集仍包含正确候选。