arXiv cs.CL· Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thadd\"aus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel·· 4 小时前AI 评分24
LittleLearner：在受控课程知识下训练的语言模型
LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
AI 导读
研究者构建了 88B token 的预训练语料 LittleCurriculum，仅覆盖美国小学五年级以下内容，并据此从零训练出 5B 参数的 LLM LittleLearner。该模型具备开放式评测所需的语言能力，但知识与能力边界清晰对应可解释的课程大纲。实验显示，通过后训练和上下文学习注入新知识能让 LittleLearner 更好利用已有知识，却无法提升超出范围的能力。
来源：arXiv cs.CL · arxiv.org