用 Parseable 配合 Datasette 处理 OpenTelemetry traces
Simon Willison 记录了如何用 Codex 摸索出运行 Parseable 并接收 Datasette traces 的方法。Parseable 是兼容 OpenTelemetry 的新可观测性工具,提供 AGPL 协议的 Rust 开源版(单个约 180MB 二进制文件)、企业版和云托管选项。
Simon Willison 记录了如何用 Codex 摸索出运行 Parseable 并接收 Datasette traces 的方法。Parseable 是兼容 OpenTelemetry 的新可观测性工具,提供 AGPL 协议的 Rust 开源版(单个约 180MB 二进制文件)、企业版和云托管选项。
Amazon SageMaker HyperPod 通过 SageMaker Unified Studio 连接项目后,团队可在项目工作区启动训练与微调工作负载,同时由基础设施团队继续通过 SageMaker AI 接口和 API 管理集群。文章提出组织、项目、集群、工作负载四层控制模型,并说明如何跨层设计身份、容量与可观测性策略,在共享加速器算力时保留底层治理控制。
旧金山初创公司 Mirror Particle 正在从零构建一个模拟人类行为及其变化原因的基础模型,认为依赖 LLM 角色扮演预测人群行为的方式根本行不通。该模型结合客户数据、时事、流行文化和社交媒体,侧重追踪“真实行为”而非问卷自述,并给出预测背后的动机与约束。
NVIDIA《State of AI in Telecommunications》报告显示,89% 受访者认为开源模型与软件对公司 AI 战略重要。NVIDIA 发布 300 亿参数的 Nemotron 3 Large Telco Model(LTM),由 AdaptKey 基于开源电信数据集微调,并开放完整微调流程。
学习率负责缩放梯度给出的更新幅度,方向合适不代表任意大的改动都合适。以单参数平方损失 L(w)=(w-3)² 为例,学习率 0.1 时参数从 0 经 0.6、1.08 逐步接近 3;0.8 时左右交替但收敛,1 时在 0 与 6 之间往返,1.1 时发散。该例收敛条件为 0<η<1,若损失整体乘 10,收敛范围变为 0<η<0.1。
韩国计划通过政府股权投资投入4.7万亿韩元(约34.9亿美元)发展本土前沿AI模型,资金属于2027年预算提案,尚待国会批准。另一条资金线将支持韩国自研模型在本国经济中的采用,政府还将启动允许初创企业参与的公开竞赛,LG AI Research、SK Telecom和Upstage等现有竞赛入围者不会自动获得额外资金。
PhAI Labs 联合斯坦福、牛津、普林斯顿的研究者提出 JEPA-Anything,把 JEPA 的预测状态拆成四个正交因子、各由独立预测模块处理,再重组为完整世界状态,从而在物理、机器人、天气、单细胞和临床等七个领域共用一套架构。
文章提出用 cost-per-success(总花费除以成功次数)替代榜单分数做模型选型,并给出可复现的 OpenAI 兼容接口评测脚本。
MiniMind 训练笔记第 07 篇拆解了 6400 万参数模型从随机初始化到学会猜词的全过程:前向传播后经交叉熵损失打分,再由 PyTorch autograd 反向传播算出每个参数的梯度。
文章用 Unsloth + QLoRA 把 Gemma-3-4B 微调成按格式产出(问题, 推理, 答案)三元组的合成数据生成器,全程单卡 24GB 可跑,并给出可直接复制的训练与生成脚本。
向量数据库与普通数据库的核心差异不在存储而在检索:普通库只能全表扫描做 O(N) 暴力遍历,向量库靠 HNSW、IVFFlat 等 ANN 索引把复杂度降到 O(log N),RAG 端到端延迟可控制在 10ms~50ms。
一位开发者用业余时间从零搭建了 YOLO 训练管理平台,技术栈为 FastAPI + SQLite + Vue 3,训练通过 subprocess 调用 ultralytics 的 yolo CLI,支持数据集导入、在线标注、版本快照、串行训练队列和模型管理,Windows 优先部署。
发表于《Transactions of the Institute of Measurement and Control》的研究提出控制感知域对抗网络(CA-DANN),从"控制-诊断协同"视角切入变工况故障诊断。该方法以船用柴油机燃油喷射系统为对象,将主动控制信号与被动状态响应通过门控加权融合,并把传统二值域判别扩展为多类机动工况的细粒度对抗对齐,以消解工况调节与喷孔堵塞故障的表征混叠问题。
一篇关于 LSM-Tree 键值存储的论文提出更优的时空权衡方案。该 PDF 在 Hacker News 获得 18 分,暂无评论。
研究者基于钢琴 MIDI 预训练的 16 层 Transformer 模型 Aria,在 PiJAMA 数据集中十二位爵士钢琴家的独奏上微调,并在最后八层插入门控交叉注意力层,读取每位钢琴家的学习嵌入向量。生成片段被分类器判定为对应钢琴家的比例为 70%,无条件下仅为 37%;仅用生成音乐训练的第二个分类器识别真实录音的准确率达 95%。
一项在田纳西州 18 所中学开展的两年集群随机对照实验发现,使用 Khanmigo 辅导的学生每学期数学成绩提升约 1.3 个全国百分位,一学年约 0.06 至 0.08 个标准差,全年积极参与的隐含效应达 0.14 个标准差,与无 AI 辅助的 Khan Academy 练习效果相近。
研究团队提出 Dust,首个在预训练 Transformer 语言模型上可与反向传播竞争的第零阶方法,通过在每个 token 上独立扰动激活(节点扰动)实现虚拟种群,单次前向传播即可并行评估所有成员。
数学家 Jeremy Avigad 在 Convergent Research 支持的科技创新创业会议上指出,AI 已能轻松生成一年前足以发表的研究成果,数学界日常解题工作正被颠覆。他认为数学作为严谨推理与交流的文化不会消失,出路在于借助 AI 攻克更难的问题、提出更大的构想,而非纠结是否还需要数学。
Opus 5.5 智能体通过密度泛函理论计算发现两种室温磁性半导体候选材料。其一是全新设计的 Luttinger 补偿磁体 YBaMnFeO₅,预测带隙 2.35 eV,空穴自旋窗口 1.0 eV、电子自旋窗口 1.4 eV;另一种是 1999 年首次合成的已知材料,计算预测其具备目标性质。
Reflection 发布首个开源权重模型 Beam,采用稀疏 MoE 架构,总参数 501B、激活 23B,面向编码、推理和智能体任务。该模型在 23.8 万亿 token 上预训练,并用 10.5K 张 NVIDIA GB300 GPU 进行四周高算力 RL,生成超 1 亿次 rollout。官方称其推理效率优于同规模模型,权重将于本月以 Apache 2.0 协议发布。
MIT Technology Review 对 300 名数据与 AI 高管的调研显示,企业平均仅约 34% 的 agentic AI 项目能进入生产,遗留数据系统、安全隐私顾虑以及知识与上下文缺失是主要失败点。
Aleph Alpha 发布德英双语模型 Kolibri,总参数 78B,采用混合专家架构,每个 token 约激活 3B 参数。
NVIDIA Inception 计划中的多家初创公司正用 AI 补齐乳腺癌诊疗缺口:iSono Health 的 FDA 获批 ATUSA 可穿戴 3D 超声系统约两分钟完成单侧乳房标准化扫描,公司称灵敏度比手持 2D 超声高 28%;Whiterabbit.ai 的 FDA 获批 WRDensity 已用于数十万患者,并研发可自动筛除阴性乳腺钼靶的新一代 AI。
Hinton、Bengio等22位作者发表论文《What if automating AI R&D triggers an intelligence explosion?
研究提出广义 BG-a 噪声模型,在方差有界(a=0)与 BG-0 噪声(a=2)之间插值,并推导出增长相关的信息论下界 Ω(ε^-(4+a)) 及匹配上界。基于此设计的自适应批调度器在 C4 上预训练最高 1B 参数的 OLMo2 模型,在相同 token 预算下验证损失低于固定小批量与大批量训练,且迭代次数不到小批量训练的 10%。
研究者提出 DAWIS,一种统一滤波、固定滞后平滑与块平滑的数据同化方法,用多任务随机插值替代状态级先验的单一流时间,为窗口内每个连续状态分配独立流时间。同化循环将窗口反演为逐状态转折点向量并在观测引导下重新生成,从而在新观测到来时修正过去状态。在稀疏、含噪、非线性观测下,DAWIS 优于滤波和平滑基线,代码已开源。
HakemBench 是一个土耳其语类型化决策基准,模型需读取文本、问题与固定选项集,并为每个选项输出概率。1.0 版以 CC BY 4.0 完全开源,含 2,346 个条目、4,275 道选择题、是非题和评分题,覆盖事实核查分流、教育、护栏、法律路由、内容审核、垃圾邮件与钓鱼、客户支持七个赛道。
MapMergeLLM 将矢量化地图聚合建模为条件序列生成任务,由大语言模型直接预测聚合后的全局地图折线。该框架用模拟预测误差的合成局部地图训练,并引入几何感知预训练的坐标 tokenizer 与线级关联损失。在 Argoverse2 和 nuScenes 上,它无需针对特定检测器重训即大幅超越启发式与优化类聚合基线。
研究者提出自适应互蒸馏(AMD),一种协同后训练框架,同时训练两个采用不同任务平衡策略的模型,通过跨任务共享的短训练探针评估蒸馏权重调整,再按任务和迁移方向用验证分数择优。在六个基准和三个 LLM 主干上,两个 AMD 模型平均分均超过相同采样策略的 SFT 基线,合并后模型在三个主干上平均超出多任务 SFT 2.91 分。
研究发现,不完备线性自编码器在 PCA 解流形上,SGD 会偏好较大的解码器权重,产生有方向的尺度漂移。该漂移发生在慢时间尺度上,且具有可解析处理的有效描述,但最终会因有限步长稳定性边界而停止。所得解在损失 Hessian 最大特征值意义上比平衡基线更尖锐,但不同尖锐度度量可能方向相反。
针对非结构化知识编辑中"上下文依赖"导致的原子事实召回失败问题,研究者提出即插即用框架 FOVEATED,通过随机偏移前文上下文 key 的 RoPE 位置构造聚焦视图,编辑时施加扰动、推理时移除,保持模型原生位置编码不变。该方法在五种知识编辑器、两个 LLM 主干和三个基准上均取得一致提升,并理论分析了其如何抵消上下文引起的难度低估。
SCOPE-4D 是一个内窥镜 4D 几何基础模型,可从单目 RGB 视频单次前向推理中联合预测相机参数、稠密几何与 3D 组织轨迹。团队构建了约 5,000 段真实与合成胃肠内窥镜及腹腔镜视频的 SCOPE-5K 数据集,并提出 Common–Residual Motion(CRM)约束局部形变。在公开及新采集基准上,该模型展现出更强的域内外几何估计、3D 跟踪与长序列结肠重建稳定性。
研究提出慢-快多教师在线策略蒸馏(SF-MOPD),通过将学生模型的指数移动平均作为"慢模型"能力参考,在 log-probability 空间剔除使快模型偏离慢模型的分量,保留对齐与正交分量。实验表明,SF-MOPD 在多模型规模上有效缓解能力干扰,增强多模态专业能力,并降低通用能力基准的平均退化,持续优于原版 MOPD。
研究者提出用扩散模型生成合成传感器数据窗口,对 CABiGRU 采用两阶段训练:先在合成数据上预训练,再在真实数据上微调。在 DEO(drinking/eating/other)数据集上,该流程取得 90.6% 的平衡准确率,优于强监督基线,缓解了少数类欠拟合问题。
OctLLM 提出用八叉树占用 token 构成的显式 3D 序列来表示几何,并通过随机清空倒数第二层节点、省略其后代得到更短的 S-Octree,用于位置感知的掩码建模生成与 3D 理解。
研究者提出 Sigma,首个大规模(3B/8B)连续扩散语言模型,基于可操控的低维 ODE/SDE 潜轨迹,按块通过似然优化训练,并利用自回归模型预训练权重热启动。
FiberGeoText(FGT)是一种视觉语言模型,可将超高分辨率扩散 MRI 重建的浅表白质(SWM)短程纤维束组织为群体级聚类,它联合表征每条纤维束的三维轨迹、皮层解剖上下文与形状,并用预训练 LLM 编码多种脑区划分方案生成的文本化皮层端点信息。
针对 LoRA 在持续学习中出现的"谱可塑性崩溃"问题,研究者提出 MuLoRA,通过历史白化与动量更新的近似极正交化,联合控制低秩空间的容量分配与利用。在五个类增量基准、八种增量设置共 16 项指标中,MuLoRA 在其中 15 项取得最高平均准确率。
研究者提出一种基于仿真的 VLM 框架,可将 2D 野火模拟自动转换为带标注的视频片段,并作为免训练多智能体 VLM 系统的可复用多模态记忆。在留出生成片段上,视频记忆的四标签精确准确率达 51.5%,直接查询 VLM 为 22.6%,纯文本记忆仅 16-17%;完整系统在六个模拟器报告字段上准确率为 77.3%。该框架还通过组件消融、跨生成器测试和三次真实无人机评估验证了检索与报告能力。
研究用 Mixture-of-Agents(MoA)方法测量单个 token 实际所需的计算量:由 Qwen、OLMo、R1-distilled 三个模型族共十五个不同规模模型逐 token 复现参考序列,以最小成功模型的推理成本作为该 token 的充分算力。