研究者发布小学课程语料与5B模型LittleLearner

研究者发布了一个仅覆盖美国小学五年级以下内容的88B token预训练语料LittleCurriculum，并据此从零训练出5B参数的语言模型LittleLearner。该模型具备开放式评测所需的语言能力，其知识与能力边界清晰对应可解释的课程大纲。 实验显示，通过后训练和上下文学习注入新知识，能让LittleLearner更好地利用已有知识，但无法提升超出课程范围的能力。研究者称，发布二者是作为发展受限的沙盒，用于研究模型在明确训练范围内如何获取、表示和使用数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。