Common Corpus：面向 LLM 预训练的最大规模伦理数据集
Common Corpus 是迄今最大的开放 LLM 预训练数据集，数据均为无版权或开放许可内容，总量约两万亿 token，涵盖从高资源欧洲语言到低资源语言及大量代码数据。研究团队在该数据集上训练了两个小型语言模型，性能与同规模模型相当，表明其适合多语言预训练。该数据集已被 ICLR 2026 接收为 Oral 论文。
#开源生态
arXiv cs.CLAI 评分3434 arXiv cs.LGAI 评分2222 MASKerade：面向稠密到 MoE 升级的 Token 路由掩码专家
MASKerade 是一种稠密到 MoE 训练方法，将专家学习为冻结预训练 FFN 的稀疏子网络，每个专家由学习到的二值掩码定义，并由 token 级路由器选择执行与组合，路由器和掩码分数联合优化而 FFN 权重保持不变。
arXiv cs.AIAI 评分4242 通过随机嵌入扰动越狱开放权重 LLM
研究者提出 Perturbed Embedding Vector（PEV）攻击，仅向提示词的嵌入向量表示中加入独立高斯噪声，即可越狱六种不同规模的常见开放权重 LLM，在 JailbreakBench 上对所有模型、所有提示词均生成不安全回复。PEV 无需梯度计算、逐提示优化或修改模型内部权重，取得首次成功攻击的平均算力成本比此前方法低至多一个数量级，每个测试模型上首次越狱通常在一分钟内出现。
arXiv cs.AIAI 评分5858 nanoMuse：面向所有设备的开源个人智能体
arXiv 论文提出开源个人智能体 nanoMuse，采用 GPL-3.0 许可，让用户拥有的每台设备共享同一段对话，并通过任何人都能运行的 relay 连接。
掘金AI 评分7575 论文拆解 11 个 coding agent 源码：无人使用 LangChain 或向量检索代码
Wavestone 四位研究者发布 83 页论文《Harness Engineering》，逐行阅读 Claude Code、Codex CLI、Gemini CLI。