跳到正文
今天10月7日周三563 条
  1. AWS Machine Learning Blog22

    Amazon SageMaker HyperPod 管理与治理最佳实践

    Amazon SageMaker HyperPod 通过 SageMaker Unified Studio 连接项目后,团队可在项目工作区启动训练与微调工作负载,同时由基础设施团队继续通过 SageMaker AI 接口和 API 管理集群。文章提出组织、项目、集群、工作负载四层控制模型,并说明如何跨层设计身份、容量与可观测性策略,在共享加速器算力时保留底层治理控制。

  2. TechCrunch · AI22

    Mirror Particle 打造模拟人类行为的“世界模型”

    旧金山初创公司 Mirror Particle 正在从零构建一个模拟人类行为及其变化原因的基础模型,认为依赖 LLM 角色扮演预测人群行为的方式根本行不通。该模型结合客户数据、时事、流行文化和社交媒体,侧重追踪“真实行为”而非问卷自述,并给出预测背后的动机与约束。

10月6日周二
  1. 掘金17

    学习率:一次参数更新,到底应该改多少

    学习率负责缩放梯度给出的更新幅度,方向合适不代表任意大的改动都合适。以单参数平方损失 L(w)=(w-3)² 为例,学习率 0.1 时参数从 0 经 0.6、1.08 逐步接近 3;0.8 时左右交替但收敛,1 时在 0 与 6 之间往返,1.1 时发散。该例收敛条件为 0<η<1,若损失整体乘 10,收敛范围变为 0<η<0.1。

  2. The Decoder62

    韩国拟投34.9亿美元打造本土前沿AI模型,对标中国领先开源模型

    韩国计划通过政府股权投资投入4.7万亿韩元(约34.9亿美元)发展本土前沿AI模型,资金属于2027年预算提案,尚待国会批准。另一条资金线将支持韩国自研模型在本国经济中的采用,政府还将启动允许初创企业参与的公开竞赛,LG AI Research、SK Telecom和Upstage等现有竞赛入围者不会自动获得额外资金。

  3. 掘金18

    只盯被动响应做状态监测?论"控制信号"在变工况故障诊断中的重要作用

    发表于《Transactions of the Institute of Measurement and Control》的研究提出控制感知域对抗网络(CA-DANN),从"控制-诊断协同"视角切入变工况故障诊断。该方法以船用柴油机燃油喷射系统为对象,将主动控制信号与被动状态响应通过门控加权融合,并把传统二值域判别扩展为多类机动工况的细粒度对抗对齐,以消解工况调节与喷孔堵塞故障的表征混叠问题。

  4. Hacker News30

    用交叉注意力条件化学习爵士钢琴家风格

    研究者基于钢琴 MIDI 预训练的 16 层 Transformer 模型 Aria,在 PiJAMA 数据集中十二位爵士钢琴家的独奏上微调,并在最后八层插入门控交叉注意力层,读取每位钢琴家的学习嵌入向量。生成片段被分类器判定为对应钢琴家的比例为 70%,无条件下仅为 37%;仅用生成音乐训练的第二个分类器识别真实录音的准确率达 95%。

  5. Hacker News26

    AI 时代数学的未来:Jeremy Avigad 谈数学研究如何转向

    数学家 Jeremy Avigad 在 Convergent Research 支持的科技创新创业会议上指出,AI 已能轻松生成一年前足以发表的研究成果,数学界日常解题工作正被颠覆。他认为数学作为严谨推理与交流的文化不会消失,出路在于借助 AI 攻克更难的问题、提出更大的构想,而非纠结是否还需要数学。

  6. Hacker News72

    Reflection 发布 501B 开源权重模型 Beam

    Reflection 发布首个开源权重模型 Beam,采用稀疏 MoE 架构,总参数 501B、激活 23B,面向编码、推理和智能体任务。该模型在 23.8 万亿 token 上预训练,并用 10.5K 张 NVIDIA GB300 GPU 进行四周高算力 RL,生成超 1 亿次 rollout。官方称其推理效率优于同规模模型,权重将于本月以 Apache 2.0 协议发布。

10月5日周一
  1. NVIDIA Blog22

    NVIDIA Inception 初创公司如何用 AI 补齐乳腺癌诊疗缺口

    NVIDIA Inception 计划中的多家初创公司正用 AI 补齐乳腺癌诊疗缺口:iSono Health 的 FDA 获批 ATUSA 可穿戴 3D 超声系统约两分钟完成单侧乳房标准化扫描,公司称灵敏度比手持 2D 超声高 28%;Whiterabbit.ai 的 FDA 获批 WRDensity 已用于数十万患者,并研发可自动筛除阴性乳腺钼靶的新一代 AI。

  2. arXiv cs.LG24

    自适应批处理为何有助于 LLM 预训练?无界方差视角下的解释

    研究提出广义 BG-a 噪声模型,在方差有界(a=0)与 BG-0 噪声(a=2)之间插值,并推导出增长相关的信息论下界 Ω(ε^-(4+a)) 及匹配上界。基于此设计的自适应批调度器在 C4 上预训练最高 1B 参数的 OLMo2 模型,在相同 token 预算下验证损失低于固定小批量与大批量训练,且迭代次数不到小批量训练的 10%。

  3. arXiv stat.ML26

    DAWIS:基于多任务插值的窗口逆采样数据同化方法

    研究者提出 DAWIS,一种统一滤波、固定滞后平滑与块平滑的数据同化方法,用多任务随机插值替代状态级先验的单一流时间,为窗口内每个连续状态分配独立流时间。同化循环将窗口反演为逐状态转折点向量并在观测引导下重新生成,从而在新观测到来时修正过去状态。在稀疏、含噪、非线性观测下,DAWIS 优于滤波和平滑基线,代码已开源。

  4. arXiv cs.CL15

    HakemBench:土耳其语类型化决策基准发布

    HakemBench 是一个土耳其语类型化决策基准,模型需读取文本、问题与固定选项集,并为每个选项输出概率。1.0 版以 CC BY 4.0 完全开源,含 2,346 个条目、4,275 道选择题、是非题和评分题,覆盖事实核查分流、教育、护栏、法律路由、内容审核、垃圾邮件与钓鱼、客户支持七个赛道。

  5. arXiv cs.CV22

    MapMergeLLM:用大语言模型实现矢量化地图聚合

    MapMergeLLM 将矢量化地图聚合建模为条件序列生成任务,由大语言模型直接预测聚合后的全局地图折线。该框架用模拟预测误差的合成局部地图训练,并引入几何感知预训练的坐标 tokenizer 与线级关联损失。在 Argoverse2 和 nuScenes 上,它无需针对特定检测器重训即大幅超越启发式与优化类聚合基线。

  6. arXiv cs.CL22

    面向大语言模型多任务后训练的自适应互蒸馏框架 AMD

    研究者提出自适应互蒸馏(AMD),一种协同后训练框架,同时训练两个采用不同任务平衡策略的模型,通过跨任务共享的短训练探针评估蒸馏权重调整,再按任务和迁移方向用验证分数择优。在六个基准和三个 LLM 主干上,两个 AMD 模型平均分均超过相同采样策略的 SFT 基线,合并后模型在三个主干上平均超出多任务 SFT 2.91 分。

  7. arXiv stat.ML12

    不完备线性自编码器中的尺度对称性破缺

    研究发现,不完备线性自编码器在 PCA 解流形上,SGD 会偏好较大的解码器权重,产生有方向的尺度漂移。该漂移发生在慢时间尺度上,且具有可解析处理的有效描述,但最终会因有限步长稳定性边界而停止。所得解在损失 Hessian 最大特征值意义上比平衡基线更尖锐,但不同尖锐度度量可能方向相反。

  8. arXiv cs.CL22

    FOVEATED:用聚焦视图提升非结构化知识编辑中的原子事实召回

    针对非结构化知识编辑中"上下文依赖"导致的原子事实召回失败问题,研究者提出即插即用框架 FOVEATED,通过随机偏移前文上下文 key 的 RoPE 位置构造聚焦视图,编辑时施加扰动、推理时移除,保持模型原生位置编码不变。该方法在五种知识编辑器、两个 LLM 主干和三个基准上均取得一致提升,并理论分析了其如何抵消上下文引起的难度低估。

  9. arXiv cs.CV24

    SCOPE-4D:内窥镜 4D 几何基础模型

    SCOPE-4D 是一个内窥镜 4D 几何基础模型,可从单目 RGB 视频单次前向推理中联合预测相机参数、稠密几何与 3D 组织轨迹。团队构建了约 5,000 段真实与合成胃肠内窥镜及腹腔镜视频的 SCOPE-5K 数据集,并提出 Common–Residual Motion(CRM)约束局部形变。在公开及新采集基准上,该模型展现出更强的域内外几何估计、3D 跟踪与长序列结肠重建稳定性。

  10. arXiv cs.LG22

    SF-MOPD:慢-快多教师在线策略蒸馏如何缓解能力干扰

    研究提出慢-快多教师在线策略蒸馏(SF-MOPD),通过将学生模型的指数移动平均作为"慢模型"能力参考,在 log-probability 空间剔除使快模型偏离慢模型的分量,保留对齐与正交分量。实验表明,SF-MOPD 在多模型规模上有效缓解能力干扰,增强多模态专业能力,并降低通用能力基准的平均退化,持续优于原版 MOPD。

  11. arXiv cs.CV24

    基于仿真的智能体 VLM 框架用于野火监测与报告

    研究者提出一种基于仿真的 VLM 框架,可将 2D 野火模拟自动转换为带标注的视频片段,并作为免训练多智能体 VLM 系统的可复用多模态记忆。在留出生成片段上,视频记忆的四标签精确准确率达 51.5%,直接查询 VLM 为 22.6%,纯文本记忆仅 16-17%;完整系统在六个模拟器报告字段上准确率为 77.3%。该框架还通过组件消融、跨生成器测试和三次真实无人机评估验证了检索与报告能力。