最优传输深度扩展 OT-DUS：为预训练 LLM 插入新层的新方法

研究者提出 Optimal Transport Depth Up-Scaling（OT-DUS），利用最优传输理论在相邻基座层间逐模块对齐并融合功能对应的神经元，以构建新层，解决现有复制或平均基座层方法导致的神经元排列错配问题。在不同模型规模和模型家族上，OT-DUS 在持续预训练与监督微调中的通用及专业领域整体表现均优于现有方法。分析还发现，在更高位置插入新层不仅性能更强，训练效率也更高。