arXiv cs.CL· Forough Shirin Abkenar, Haoshuo Fu, Liang Feng, Ning Yan, Masood S. Mortazavi·2026-10-15 12:00· 5 小时前AI 评分22

研究追踪 LLM 语言习得中的形态、语义与分歧演化

Tracing Morphology, Semantics, and Divergence in Language Acquisition

AI 导读

研究利用 Pythia 和 OLMo 等开源模型的中间检查点，在 teacher-forcing 评估下追踪 LLM 跨训练步数与模型规模的语言习得过程。结果显示，模型掌握形态结构的时间远早于语义嵌入趋于稳定；训练数据集规模对分歧识别有正向影响，而预训练中的共现与推理时的重复则产生负向影响。

来源：arXiv cs.CL · arxiv.org