跳到正文
今天10月7日周三374 条
  1. arXiv cs.AI22

    Sinkhorn 双随机注意力秩衰减分析

    一项研究分析了 Transformer 中双随机注意力的秩衰减问题,发现用 Sinkhorn 算法归一化的双随机注意力矩阵比标准 softmax 行随机注意力更能有效保持秩,且残差连接对缓解秩崩溃至关重要。该现象在情感分析和图像分类任务上得到实证验证,理论上推导出纯自注意力下秩随深度双重指数衰减至 1 的界。

  2. arXiv cs.AI22

    PC-Diffuser:面向扩散轨迹规划器的路径一致胶囊 CBF 安全过滤

    PC-Diffuser 是一种安全增强框架,将可认证、路径一致的障碍函数结构直接嵌入扩散规划的每一步去噪循环中。它用胶囊距离障碍函数评估碰撞风险以更好反映车辆几何、减少不必要的保守性,并通过运动学自行车模型把去噪路点转为动态可行运动,再施加路径一致安全过滤器消除残余约束违反且不产生几何畸变。

  3. arXiv cs.AI28

    ReLoop:面向可靠 LLM 优化的结构化建模与行为验证

    ReLoop 通过结构化生成与行为验证两项机制,解决 LLM 生成优化代码时"可求解但语义错误"的静默失败问题。结构化生成将代码生产拆为理解、形式化、合成、验证四阶段,在 RetailOpt-190 上配合 Claude Opus 4.6 提升 8.5pp 准确率;行为验证借助求解器参数扰动检测残留错误,在 MAMO-ComplexLP 上提升 4.4pp。

  4. arXiv cs.AI22

    FedCoT:面向大语言模型的通信高效联邦推理增强框架

    FedCoT 是一个联邦推理框架,通过轻量级 CoT 重采样配合紧凑判别器筛选,并用客户端感知的 LoRA 堆叠与加权分类器聚合来应对数据异构、降低聚合噪声和通信开销。客户端本地生成候选推理链与监督信号,服务器仅聚合轻量模块,数据始终保留在本地。在医疗推理基准上,该方法在紧张资源预算下取得稳定提升,代码已公开,论文被 EMNLP 2026 收录。

  5. arXiv cs.AI22

    HED:超图增强双卷积网络用于捆绑推荐

    研究者提出超图增强双卷积神经网络(HED),构建包含用户—捆绑、用户—物品、捆绑—物品交互及用户内、捆绑内关系的完整超图,并将完整超图传播与用户—捆绑分支耦合。在 NetEase 上 HED-128 在六项指标上较最强基线提升 5.04–6.97%,在 Youshu 上 HED-64 提升 1.87–4.56%。消融实验支持用户—捆绑分支与类型内关系的贡献,并量化了完整超图的内存开销等计算代价。

  6. arXiv cs.AI24

    EnGRICH:用人类批评增强生成式奖励模型

    研究者提出 GRM 训练框架 EnGRICH,通过一个从少量人类批评中学习的训练期 MetaCritic,为生成的批评构建针对性评分标准并评估其证据覆盖度与正确性,从而提供过程奖励和结构化探索引导。MetaCritic 在训练中进一步优化,将人类评价标准泛化到仅有结果标签的偏好数据;推理时训练好的 GRM 独立运行。在七个奖励模型基准上,EnGRICH 持续优于竞争基线。

  7. arXiv cs.AI22

    用结构化 CoT 提升 AI 空间智能:GPT-5.6 的 3D 旋转可视化与推理

    研究团队基于 Revised PSVT:R 测试 GPT-5.6 的 3D 旋转空间推理能力,并叠加图形与上下文特征评估不同 CoT 策略的影响。结构化 CoT 在 PSVT:R 及带坐标系数据集上均提升了 GPT-5.6 的表现,三种 CoT 方法(结构化 CoT、few-shot 结构化 CoT、带自优化提示词的结构化 CoT)之间无显著差异。

  8. arXiv cs.AI44

    LUMOS:追踪 LLM 参数化知识从训练数据到行为输出的因果链

    研究者提出诊断框架 LUMOS,基于训练语料完全透明的 OLMo 2,追踪 LLM 参数化知识从训练数据曝光到行为输出的因果链。结果显示模型内部对罕见事实的编码可分性达 84%,但行为表达仅 54%,该检索差距随规模扩大而收窄。模型对已训练内容自我反思准确率为 83%,对未见内容降至随机基线 49%,且链式推理提示只会抬高置信度而非改善校准。

  9. arXiv cs.AI24

    SpikeMoE:受大脑启发的脉冲混合专家竞争路由框架

    SpikeMoE 将神经元尺度的脉冲动力学与模型尺度的专家选择相结合,提出受海马 CA1 区竞争抑制机制启发的脉冲 k-WTA Router,通过侧向抑制和不应期按离散脉冲计数选择 Top-K 专家。该框架还配备两阶段缺失模态建模模块,在视觉、语言和多模态基准上达到 SNN 基线中的 SOTA,性能匹配或超越 ANN 对应方案,并在多种缺失模态条件下保持稳健。

  10. arXiv cs.AI27

    ReSolve:通过选择性生成式审核复用候选推理

    ReSolve 是一种免训练推理方法,通过选择性生成式审核复用候选推理:当候选答案分歧或无法解析时,调用模型检查已有推导并纳入有界循环。在 130 道竞赛数学题上,ReSolve 在两个独立候选池中分别答对 100 和 99 题,优于同四候选投票的 91 和 92 题,且相比八样本自一致性分别少用 46.3% 和 47.2% 的 token。消融实验显示移除可见推导后准确率从 100 降至 93。

  11. arXiv cs.AI22

    用推理外化让 LLM 忠实叙述股票收益预测:Qwen3-32B-Instruct 证据忠实度升至 0.996

    一项研究提出 LLM 叙事框架,将时序 SHAP 证据与历史市场状态类比结合,用于横截面股票收益预测的可解释叙述。在 Qwen3 上的对照实验显示,逐步外化数值与关系推理后,Qwen3-32B-Instruct 的证据忠实度从 0.696 提升至 0.996,时序与关系准确率同步改善。历史类比虽未提升结构化自动忠实度,但获得了更高的人工评分有用性。

  12. arXiv cs.AI22

    用校准良好的 Deep Ensemble 替代高斯过程,提升水上溢油监测的路径规划效果

    针对高斯过程各向同性核在溢油等非均匀现象上失配的问题,研究用校准良好的 Deep Ensemble 替换高斯过程来改进信息路径规划。在留出的随机溢油场景中,Deep Ensemble 将归一化重建误差较高斯过程基线降低 83%,并使多步前瞻规划器比贪心选择的重建误差最多低 32%、IoU 超过 0.85。

  13. arXiv cs.AI22

    动作塑形:策略只吸收其能表达的动作偏移

    论文提出"动作塑形"原理:可训练策略会吸收其输出层能精确复现的动作偏移,被吸收的偏移可在部署时移除且回报不变。最小实例是学习门控后的零初始化线性头,门控会自行先升后降,在 20 个任务上移除该头几乎无代价。该吸收条件取决于精确复现而非容量,非线性头即使参数更多也不会被吸收。

  14. arXiv cs.AI37

    JEV-as-a-Judge:置信时接受,不确定时升级

    JEV-as-a-Judge 提出用只输出标签概率的决策型评判模型 JEV 做评估,由置信度决定直接采纳还是升级给推理型评判模型。在 16 个生成式与奖励模型评判器的对比中,JEV 在可直接从文本读出结论的场景下与 GPT-6 相差 3 分以内,费用仅为其 0.36%,中位延迟 0.15 秒,但在数学、代码和逻辑等需推导结论的场景落后。

  15. arXiv cs.AI29

    GLANCE:面向视觉语言模型无损推测解码的一次性块草拟

    GLANCE 是一种一次性块草拟方法,可在不改动 VLM 目标模型的前提下实现无损推测解码,其块扩散头在一次前向传播中读取已融合的视觉语言状态并草拟整个 token 块。在固定轮次预算的生产引擎中,GLANCE 解码速度最高达自回归解码的 3.05 倍,在 grounded 任务上平均优于生产级 EAGLE3-VL 头约 11%。代码已开源。

  16. arXiv cs.AI24

    拒绝门控解码(RGD):高温采样下保持 LLM 拒绝行为

    研究者提出拒绝门控解码(RGD),一种顺序解码方法,可在高温采样下保留模型的贪心解码拒绝响应,同时让其他提示词按原始高温分布采样。在 7 个模型和 3 个基准数据集上、T=2.0 时,RGD 将贪心拒绝保留率从直接采样的 91.9% 提升至平均 98.3%,非拒绝请求的中位延迟仅增加 2.2-4.3%。其残差流变体将延迟开销降至最多 0.5%,路由准确率相当。

  17. arXiv cs.AI39

    人类与 LLM 的日常推理都依赖模式匹配:46 个 LLM 与两组人类受试者研究

    一项研究对比人类与 46 个 LLM 的日常常识推理表现,发现两者呈现趋同的推理模式。通过分析内容不变与内容敏感的模型神经元,研究发现真正让模型输出与人类对齐的是内容敏感机制,而非内容不变的世界模型。这表明人类和 LLM 的日常因果推理都大量依赖模式匹配。

  18. arXiv cs.AI36

    当注意力关闭:LLM 如何在多轮交互中丢失线索

    研究提出"通道转换"机制解释 LLM 多轮交互中的指令遗忘:目标定义 token 通过注意力变得难以访问,但目标信息可能保留在残差表示中。团队提出 Goal Accessibility Ratio(GAR)指标,结合滑动窗口消融与残差流探针,在 Mistral 上强制关闭注意力通道后,20 项事实回忆任务准确率从接近满分跌至 11%,人格约束违规率超过对抗压力基线。

  19. arXiv cs.AI25

    PuzzleJAX:面向推理与学习的基准测试

    PuzzleJAX 是一个 GPU 加速的益智游戏引擎与描述语言,支持对树搜索、强化学习和 LLM 推理能力进行快速基准测试。它基于 PuzzleScript 风格的 DSL 动态编译任意游戏,已在其上验证了数百款 PuzzleScript 游戏,并分析了搜索、学习与语言模型在这些游戏上的表现。该工作发表于 IEEE Conference on Games 2026。

  20. arXiv cs.AI24

    IdeaAnchor:教 LLM 从文献中提炼研究想法

    IdeaAnchor 提出一种用结构化规格作为特权信号训练 LLM 进行科研选题的范式,每个实例编码输入论文的功能角色、关系与目标综合标准。研究者从已发表论文中挖掘实例,通过示范、自蒸馏和强化学习训练模型,并在推理时用检索增强生成。实验显示选题质量持续提升,其中 anchor 训练强化创造性综合,检索改善细节展开,两者结合效果最佳。