跳到正文
#论文/研究
今天10月7日周三1097 条
  2. arXiv cs.CL22

    Nucleus Speculative Decoding：超越精确分布的合理性感知验证

    研究者提出 Nucleus Speculative Decoding（NSD），一种将目标模型合理性纳入验证的宽松投机解码方法：草稿 token 满足标准接受规则或落入目标模型 nucleus 即被接受。实验显示 NSD 相比自回归解码吞吐最高提速 5.16×，相比标准投机解码最高提速 3.15×，同时保持有竞争力的任务表现，并带来更长的接受长度。

  3. arXiv cs.LG22

    大语言模型用于加密货币交易分析：一项 Bitcoin 案例研究

    研究将 LLM 应用于真实加密货币交易图，以 Bitcoin 为案例，提出三层评估框架及 LLM4TG 图表示格式与 CETraS 采样算法，显著降低 token 需求。实验显示节点级基础信息识别准确率超 98.50%，有效特征获取比例达 95.00%，分类任务 top-3 准确率在少量标注数据下达 72.43% 并附带解释。

  4. arXiv cs.CL25

    读取而非操控：用 Router Logits 为 MoE 视觉语言模型做多模态安全检测

    研究者提出一种轻量级 router-logit 安全检测器，在 prompt prefill 阶段读取 MoE 视觉语言模型的 routing 信号，在生成前识别不安全请求，无需修改模型参数或专家路由。在 Qwen3-VL 和 Kimi-VL 上，该检测器大幅降低 HoliSafe 基准上的安全错误，并泛化到 MISHard 和 MM-SafetyBench 等分布外安全基准。

  8. arXiv cs.CL26

    预填充决策模型的读出稳定性：零标签预测与推理时算力分配

    受 Jev 模型启发的预填充决策模型单次前向即可为候选菜单打分，成本比同规模生成式语言模型低一到两个数量级。当干预只改变候选菜单而输入文本不变时，其干预后准确率可由缓存的首次前向分布预测，无需标签和第二次前向，在七个模型族、十个数据集上误差在 4.2 分以内。

  10. arXiv cs.CL22

    通过击键动态检测 LLM 辅助的越南语写作：行为操纵下的鲁棒性研究

    研究构建了越南语击键数据集，涵盖真实写作、转录和改写三种模式，并设计了用户刻意改变打字模式的行为操纵威胁模型。在用户无关和上下文无关设置下，基于 1D-CNN 和 TypeNet 的序列模型在多数情况下优于时序与节奏特征方法，但转录可被可靠识别，改写和对抗操纵样本常被误判为真实写作。引入行为操纵数据的对抗训练后，可分离性和鲁棒性显著提升。

  11. arXiv cs.LG22

    有损压缩 PDE 训练输入：场重建误差无法决定训练算子的成本排序

    研究发现，PDE 训练输入的有损压缩中，场重建误差无法决定训练后算子的精度成本。压缩场经全精度代理算子传递后的扰动比例与方程平滑行为一致，在不同 PDE 族间跨越两个数量级以上。在均方误差训练下，重建误差在 104 次成本比较中颠倒 36 次，而基于相同前向传播的探针仅颠倒 12 次。

  12. arXiv cs.CL29

    DLoop：循环式投机解码

    DLoop 是一种循环式投机解码方法，在验证前自适应执行多轮起草，让草稿模型在保持置信时持续生成 token，再统一验证所有累积的草稿 token。该方法在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块上把实际加速提升 5% 至 41%，同时保持无损解码。配套的循环感知训练让草稿模型接触未验证草稿 token 的自身隐藏状态，从而在额外起草阶段保持可靠。

  14. arXiv cs.CL22

    HARP：通过显式偏好推断实现异构偏好下的 LLM 编排

    针对现有 LLM 编排器将智能体偏好信念存于提示词、缺乏显式更新规则导致早期错误持续传播的问题，研究者提出 HARP 框架，为每个智能体在有限候选偏好集上维护数值后验并用贝叶斯规则闭式更新，语言模型仅提供动作与各候选似然。HARP 被证明可达到与显式联合推断相同的 Õ(√K) 贝叶斯遗憾，其增强版 HARP⁺ 通过为区分候选的动作加奖励，在最优动作无信息时仍能持续推断。

  15. arXiv cs.LG15

    大初始化下逻辑梯度下降轨迹的近似理想路径

    研究针对严格线性可分数据上的全批量逻辑梯度下降（GD），在大初始化尺度 R 下构建了一条由有限线性段组成的唯一连续理想路径，包含负间隔修正与最小间隔增长两个阶段。经两阶段时间重参数化后，固定步长 GD 轨迹除以 R 会随 R→∞ 均匀收敛到该路径，并给出考虑初始化扰动与阶段过渡的定量误差界。该近似还给出峰值评估损失与累积训练损失的渐近公式，其中峰值评估损失即使两端损失趋于零也可随 R 线性增长。

  16. arXiv cs.CL27

    HouseholdBench：评估大语言模型预测家庭经济行为的能力

    研究者推出 HouseholdBench，整合 6 项美国家庭调查与 32 个预测任务，覆盖消费、收入、劳动、预期和住房等数值、分类及概率结果，用于测试 LLM 能否预测家庭行为及其对政策变化的调整。13 个闭源与开源权重 LLM 参与评测，最佳模型将数值结果误差降低 12.2%，多数任务中梯度提升树排名第一。通过微调并聚合 16 次预测，40 亿参数开源模型可达到闭源模型水平。

  18. arXiv cs.LG17

    DePICT：面向受限下游任务的决策保持接口

    研究者提出 DePICT，一种通过按优化器解敏感度对上下文方向排序并跨运行区间聚合，来构建决策保持接口的方法。该方法基于 KKT 条件刻画上下文方向何时与优化器相关，指出出现在活跃优化问题中并不代表变量会影响最终决策，某些方向的影响会被对偶变量吸收。在受控诊断中，DePICT 精确恢复决策相关接口，将线性预测器 regret 降至 0.009，而最强竞争基线为 0.475。

  19. arXiv cs.CL22

    儿童手语翻译安全审计：SLT 与儿童安全防护的交叉评估缺失

    自动手语翻译（SLT）已进入消费产品，但尚无公开系统将 SLT 与儿童安全防护工具联合评估，主流已部署 SLT 模型也未在 18 岁以下手语者上训练或正式评测。否定、角色、保密、紧急或求助等翻译错误可能在不影响流畅度的情况下改变安全判定。论文提出一套由聋人群体参与部署前审计框架，含失败分类、场景模板、四种比较条件和四项结果指标，计划以 Auslan 为首个案例。

  21. arXiv cs.CL24

    用自动化提问补齐门诊临床文档缺口：LLM 能否接管 DAU 查询闭环

    研究提出 DAU（Draft、Ask、Update）流程，检验 LLM 能否自动完成临床文档专员向医生发起的澄清提问闭环。团队审计 3000 次真实就诊、分析 2.1 万轮真实对话澄清轮次，并基于公开数据构建五个转录降级基准；发现有用提问的预测因子因任务而异，约 9% 的轮次反而损害性能，多由冗余提问和仍触发改写的非回答造成。

  24. arXiv cs.LG32

    语言模型能从测试时计算中获得多少收益？SELF-POT 基准给出量化答案

    研究者提出 SELF-POT 基准与评估框架，在竞赛数学、竞技编程和智能体工作流中衡量模型的测试时潜力，并按美元计费所有模型调用（含选择与评判）。在 350 个密封任务、五个低成本推理模型上，以 Claude Opus 5.5 Direct 为参照，收益取决于领域、选择规则与失败处理。

  25. arXiv cs.CL30

    Kurate：可扩展的科学质量分析系统

    研究团队推出 Kurate，利用 LLM 评估已发表研究的质量，并结合论文及其试验注册、研究方案等相关文档，将每项判断链接到对应原文段落。该系统对 4,347 篇论文（其中 3,913 篇为随机试验）按统计功效、因果识别、预注册等 8 个维度打分，发现统计功效、选择性报告和分析预注册问题最为常见。

  26. arXiv cs.LG17

    对抗性线性 CMDP 的速率最优算法

    针对损失与约束函数随回合对抗变化、转移未知的片段式对抗线性 CMDP，新提出的 primal-dual 算法将 regret 与累积约束违反从 \widetilde{\mathcal{O}}(K^{3/4}) 降至 \widetilde{\mathcal{O}}(\sqrt{K})，且无需 Slater 条件。

  27. arXiv cs.LG22

    奖励即观测：学习基于奖励的策略以实现快速适应

    研究者提出一种仅以奖励和动作为条件的奖励策略，可在观测空间完全不同的源环境与目标环境之间实现零样本迁移。该策略在 Pointmass、Cartpole 和 2D Car Racing 三个环境中训练后，可零样本迁移到不同配色、3D 渲染以及 Habitat-Sim 中的 Stretch 机器人导航任务。基于奖励的策略还能进一步引导目标环境中基于观测的策略训练。

  28. arXiv cs.CL29

    如何从模型内部识别真实内省：LLM 自我报告的机制特征研究

    研究者用低秩适配器训练模型按隐含线性偏好函数为虚构角色做决策，发现持续微调能让模型在无显式自我报告监督下准确报告自身学到的偏好。权重消融与冻结层实验显示偏好表征随训练前移至更早层，而 attribution patching 发现忠实模型的决策与自我报告任务间归因相似度显著更高，可作为区分忠实与不忠实自我报告的机制特征。

  30. arXiv cs.CL22

    JudgeMoE：面向 LLM-as-a-Judge 的分布聚合方法

    JudgeMoE 是一种轻量聚合器，对缓存的 judge 分数分布分配样本级权重并在计算最终分数前融合。在原始 10-cell 基准上，其平均 Spearman 相比 uniform log pooling 提升 +0.079；在 16 个 cell 上相比最强单一 judge 平均提升 +0.0393，12/16 个 cell 为正，单侧 Wilcoxon 符号秩检验 p=0.0091。

  32. arXiv cs.CL29

    Turnslide：用有限状态机实现可扩展多轮数据合成

    Turnslide 是一个全自动轻量级多轮工具调用数据合成框架，将每个 API 建模为有限状态机，用单次 LLM 调用把状态合法的工具序列翻译成完整训练样本。在 SLM 微调实验中，其生成轨迹的下游完整准确率达 70.7%，高于对比方法的 63.4% 和 53.7%，且 token 用量减少 3.6-6.6 倍。该工作已被 NeurIPS 2026 SLM-Agents Workshop 接收。

  37. arXiv cs.CL24

    EMODE：面向情感感知语音语言建模的动态副语义专家

    EMODE 是一个情感感知语音语言模型，核心是动态副语义专家（DPSE），将连续语音特征拆分为语义与副语言两条路径并动态路由、融合后再接入语言模型。它采用语义预热、副语言激活、联合精调三阶段课程训练，配合 OEG、SAA 与 GDR 引导。在 SER 测试、共情回复评测及新建双语 MEPA 基准上，EMODE 改善了词汇保真与情感敏感度的平衡。

  39. arXiv cs.CL22

    用条件锚定蒸馏稳定语言模型持续学习

    研究提出条件锚定生成蒸馏（CAGD），保留少量旧提示词，用冻结的旧模型重建补全与生成状态，并在学习新任务时匹配其预测分布。在 219M 掩码扩散语言模型的持续适配中，CAGD 将四任务最终留出损失从 2.927 降至 1.114，反向任务顺序下从 2.168 降至 0.891。在教师生成支持相同的情况下，软目标比硬回放的平均损失低 0.055。