预训练中的知识组织如何影响知识更新效率：专家模型学得更快

预训练阶段按时间顺序组织知识，会让模型成为只擅长最新知识的"专家"，但这类专家模型获取新知识所需的更新步数远少于在随机打乱顺序上训练的"通才"模型。研究者从第一性原理推导出将更新成本与模型优化动态关联的规律，并据此设计出一种兼顾稳定历史知识与高效更新当前知识的预训练数据组织策略，该优势在真实预训练模型和现有知识更新工具上同样成立。