预训练知识组织影响模型知识更新效率

一项新研究提出，预训练阶段按时间顺序组织知识，会让模型成为只擅长最新知识的“专家”，但这类模型获取新知识所需的更新步数远少于在随机打乱顺序上训练的“通才”模型。 研究者称，他们从第一性原理推导出将更新成本与模型优化动态关联的规律，并据此设计出一种兼顾稳定历史知识与高效更新当前知识的预训练数据组织策略。该优势在真实预训练模型和现有知识更新工具上同样成立。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。