arXiv cs.CL· Felicia K\"orner, Maria Matveev, Florian Eichin, Gitta Kutyniok, Barbara Plank, Michael A. Hedderich·· 2 小时前AI 评分27
多语言预训练中翻译能力如何发展：先复制，后翻译
Copy First, Translate Later: Interpreting Translation Dynamics in Multilingual Pretraining
AI 导读
研究者预训练了一个覆盖九种语言的 1.7B 多语言模型，以词级翻译为测试平台追踪翻译能力的早期发展轨迹。结果显示，模型在快速习得基础语言能力的同时进行 token 级复制，翻译则分两阶段发展：初期以复制和表层相似性为主，后期才形成更具泛化性的翻译机制并细化复制。该研究已被 EMNLP Main 2026 接收，代码、模型 checkpoint 和数据集均已公开。
来源：arXiv cs.CL · arxiv.org