跳到正文
今天10月7日周三374 条
  1. arXiv cs.AI27

    zkLLMPoT:面向大语言模型训练的高效零知识证明框架

    zkLLMPoT 是一个零知识框架,通过前向评估而非验证优化轨迹来证明训练后检查点的审计属性,认证成本与训练迭代次数无关。该框架分两阶段:训练方固定架构并提交权重,审计方选择挑战序列后,训练方证明模型在这些序列上的目标值。在四类模型家族上,1.1-1.5B 参数模型证明耗时 41-59 秒,13B 模型为 131 秒,序列长度 512 时验证时间低于半秒。

  2. arXiv cs.AI22

    OSFP4:面向 NVFP4 量化的对角平滑与块缩放联合优化

    研究者提出 NVFP4 量化方案 OSFP4,对每个线性投影使用对角平滑矩阵,在 NVFP4 下联合优化平滑项与块缩放以最小化矩阵乘量化误差,并兼容 round-to-nearest 与 GPTQ 式逐次干扰消除。实验显示 OSFP4 在对应量化设置下取得所评估方案中最高的平均精度,同时保留约 94-97% 的厂商 NVFP4 prefill 吞吐,代码已开源。

  3. arXiv cs.AI26

    神经解码中上下文先验下的置信度排序反转

    研究发现,上下文先验在提升神经到语言解码候选分数的同时,会让残留错误变得更自信。在 MEG-MASC 上,区分修复与残留错误的 AUROC 从初始排名 2-3 时的 0.70 降至排名 21-50 时的 0.39,而排名 20 之后的错误占融合后全部错误的 46.6%。分别读取局部与先验分数可改善选择性解码,解码器在 74.5% 的窗口作答(原为 56.7%),92% 的输出集仍包含正确候选。

  4. arXiv cs.AI26

    Confidence Reasoning Graphs:面向 LLM 智能体的结构化置信度估计

    研究者提出 Confidence Reasoning Graphs(CRG),一种推理时框架,仅凭单条轨迹即可估计 LLM 智能体完成任务的成功概率,无需模型内部信号或训练数据。CRG 将任务声明分解为基于轨迹证据的子声明,逐项估计置信度后再聚合为整体置信度。在三个智能体基准、三个骨干模型和三个智能体框架上,CRG 的置信度校准与风险感知决策均优于口头表达、采样和白盒代理基线。

  5. arXiv cs.AI17

    用文本环境上下文与空间图增强 LLM 区域海表温度预报

    研究将区域多步海表温度(SST)预报建模为条件数值生成,用历史 SST 与异常序列、日期对齐的环境记录和静态海洋知识构成文本上下文,并通过图神经网络生成连续的空间前缀注入 LLM 输入。在南海 SST 预报的十个预测步上,完整配置取得对比方法中最佳 MAE 和 R²。配套的规则模块将预测趋势与环境因子方向匹配知识条目,返回带来源的事后上下文解释。

  6. arXiv cs.AI26

    自参照社会偏好:不观察他人奖励也能学会合作

    研究者提出"自参照社会偏好"方法,让每个智能体学习自身奖励模型,并将其应用于其他智能体的观测轨迹,从自身视角评估对方结果,再接入标准社会偏好机制。在 Escape Room、Clean Up 和 Commons Harvest 三个序贯社会困境中,智能体无需观察他人奖励即可学会合作,甚至在独立学习失败的环境中也能实现合作,且收益分配常比能获取真实奖励的智能体更公平。

  7. arXiv cs.AI27

    DHCG:为基于 LLM 的多智能体推理动态构建分层协作图

    DHCG 框架通过 Planner、Worker、Generator 三个模块,从零逐步构建动态分层协作图,并支持提前终止或按需扩展。在代码生成、数学推理等基准上,其平均性能较单智能体基线提升 13.06 分,优于静态与动态 MAS 基线 2.77-8.02 分。该框架还引入动作感知偏好优化训练 Planner,并展现出跨 Planner 主干与未见 Worker 模型的泛化能力。

  8. arXiv cs.AI22

    ThinkFuse:面向小型推理模型的轨迹感知测试时融合方法

    ThinkFuse 是一种免训练的测试时融合框架,通过对比片段级不确定性与轨迹级不确定性趋势来识别不稳定推理点,并将辅助推理路径融合进主模型轨迹。在数学与知识密集型推理基准上,它优于现有基线,跨模型组合均有稳定提升,且主模型更小时仍保持稳健。该方法所需融合触发次数更少、生成 token 更少,代码已开源,论文被 EMNLP 2026 Findings 接收。

  9. arXiv cs.AI41

    Llama-3.1-8B-Instruct 研究:财务信息缺失时语言模型用身份替代事实

    一项针对 Llama-3.1-8B-Instruct 的 96,600 条提示词实验显示,当财务信息从 8 项事实减至零时,财务相同但身份不同的两个角色获得的股票配置建议平均差距从 4.78 个百分点升至 10.34 个百分点,比值达 2.16。身份在全披露时仅解释 5% 的配置差异,无披露时升至 96%。无事实时模型还会在理由中引用从未告知的收入、债务和储蓄,且这些虚构财务对大家庭更常转为不利。

  10. arXiv cs.AI38

    研究发现 LLM 存在错觉模式感知,会引发虚假推理

    一项被 NeurIPS 2026 接收的研究首次系统考察了大语言模型(LLM)中的错觉模式感知,发现 LLM 常比人类更易在随机数据中推断出有意义关联。模型倾向于将频繁出现的正面属性过度关联到多数群体或大型组织,并从模糊事件中构建因果叙事。研究基于稀疏自编码器(SAE)的特征可解释性框架,揭示整体频率感知与分析性认知取向与这类错觉的涌现相关。

  11. arXiv cs.AI29

    OOPMAS:面向查询级工作流生成的面向对象多智能体系统

    OOPMAS 是一个免训练框架,能在单个查询粒度上同时生成智能体集合与协调工作流,智能体以面向对象类定义表示,工作流则表达为可执行 main 函数。在覆盖代码、数学与问答的混合任务基准上,OOPMAS 达到 89.6% 准确率,超出最强基线 18.1 个百分点;跨四个 LLM 基座的模型替换研究显示性能一致扩展,最强模型下达到 92.4%。

  12. arXiv cs.AI22

    推荐系统中的可解释隐式负样本发现:Evidence Before Sampling

    研究者提出"隐式负候选发现"方法,用符号规则编码用户行为模式,按支持度、信息量和产品相关性打分排序,再由 LLM 结合业务目标与领域知识解读规则,最终报告融合统计证据与 LLM 解读。在工业 B2B 场景和五个公开推荐数据集上,该方法候选质量精度高于所评估基线,符号选择使工业任务下游测试 PR-AUC 较随机选择提升 12.5%(每正样本四个负样本)。

  13. arXiv cs.AI22

    面向可解释国际象棋战术的自动合成研究

    研究者提出一种用于下棋的符号子策略模型,借助归纳逻辑编程系统 PAL 学习到的模式,将国际象棋战术的领域知识引入模型以提升可解释性。团队提出一种散度指标,将模型与随机基线对比,得到一组能给出接近人类初学者棋力的战术。他们还提出通过为现成引擎增补该模型的计算评估方案。

  14. arXiv cs.AI22

    让 RL 智能体学会可解释的复杂游戏策略表示

    研究者提出一种类似人类认知的方法,训练 RL 智能体将学到的策略与策略网络合成为基于对局动作序列的可执行程序,并自动学习这类程序来下国际象棋和求解网格环境任务。实验显示,学到的策略能产生有效动作,且可从对局数据中学习。

  15. arXiv cs.AI24

    让理论学会"长大":超越初始假设空间的实验发现

    研究提出"实验性模型类修正"框架,让发现策略同时提出结构编辑和诊断实验,以检验该编辑是否必要。在 400 个受控动力学环境中,联合策略以 32 次真实实验预算达到 89.5% 精确恢复率,较最强匹配基线提升 10.0 个百分点,且所需实验与候选拟合更少。当真实机制超出编辑语法时,该方法在 88% 的情况下检测到库不足,误支持率为 5.5%。

  16. arXiv cs.AI22

    VALSE:面向大语言模型高效推理的垂直自适应层跳过方法

    VALSE 是一种按样本、非连续的层跳过方法,用轻量难度估计器从前几层为每个输入打分,再通过逐层门控选择性跳过冗余层,包括任意中间层而保留更深层,只为每个输入激活必要深度。论文同时给出期望 FLOPs 闭式公式、跳层模型函数空间为全层函数空间真子集的证明,以及与 MoE 架构的结构对偶关系,可行性已在原型规模初步验证。

  17. arXiv cs.AI22

    SUTURE:用 rollout 组结构改进视频时序定位验证器

    SUTURE 提出一种基于 rollout 组结构的视频时序定位验证方法,将验证条件建立在整组 rollout 上,并证明其可精确分解为标准 IoU 项与由 rollout 组决定的协方差修正项。在五个时序定位 benchmark 上,SUTURE 在所有报告的 IoU 阈值下均提升定位性能,其训练策略在推理轨迹中也表现出更少的视频起点锚定。

  18. arXiv cs.AI22

    GroundAct:面向自动驾驶物理智能的 grounded planning 新框架

    研究团队提出 GroundAct,将物理实体作为 grounding 单元,用轻量 reference token 保持每个被选实体的连续状态可被符号推理寻址,仅由被引用实体与演化方案的交互来修正规划,形成从推理依据到规划动作的显式路径。GroundAct 在开环与闭环评测中均表现良好,覆盖正常、分布外与安全关键场景,闭环结果进一步验证了仿真驾驶能力。

  19. arXiv cs.AI27

    从局部证据到安全判定:视觉语言模型中的因果追踪

    研究提出 SSU-Bench 数据集,用单项提示词编辑或图像编辑构造配对的安全与不安全图文组合,并在三个视觉语言模型间迁移内部状态以测量安全判定变化。结果显示,针对被改动输入位置的干预在解码器较早层有效,而针对最终输入 token 的干预在较晚层才生效;最终 token 状态的线性读出还能预测模型自身判定(包括错误判定),跨模型对比显示反事实变化模式存在相似性。

  20. arXiv cs.AI22

    MARS:面向序列推荐的多分辨率自适应路由

    针对长历史推荐中单一缓存记忆对短期意图、中期兴趣与长期偏好保留不均的"时间混叠"问题,研究者提出 MARS——将完整历史写入不同半衰期的循环状态轨道,并用稀疏路由读取器为每个种子选取相关时间分辨率,保持候选打分规模固定。MARS 在三个公开数据集上优于强基线,增益随历史长度增长;在每用户 1000 个候选时,服务延迟约为基线热缓存推理的 1.02 倍。

  21. arXiv cs.AI36

    COMPASS:在语言模型中定位推理发生的位置

    COMPASS 是一种推理时激活引导方法,利用模型自身直接作答的正确性信号构造潜在方向,并通过 logit 空间归因分数定位可有效干预的注意力头。在三个模型家族和多个数学基准上,它平均将 GSM8K 准确率提升 16 个百分点,并以少 20-70% 的生成 token 接近 CoT 准确率,干预无需重新拟合即可迁移到未见基准。

  22. arXiv cs.AI31

    评估 LLM 路由的升级信号:目标、对照与五种自欺方式

    研究测试语义熵作为 LLM 路由升级信号,在 GSM8K 上以约 12 倍规模差的小/大模型组合实现 AUROC 0.871,同等成本下路由准确率较随机升级最高提升 9 个百分点。作者指出合成基准上的亮眼结果实为假象:仅基于问题难度的无模型规则几乎完全匹配语义熵,并据此提出一套检查清单,涵盖难度对照、升级成功定义分歧、基准天花板及实时采样真实成本等陷阱。