研究者提出OT-DUS深度上采样方法

研究者提出最优传输深度上采样方法 OT-DUS，用于为预训练大语言模型插入新层。该方法利用最优传输理论，在相邻基座层之间逐模块对齐并融合功能对应的神经元，以构建新层，针对的是现有复制或平均基座层方法造成的神经元排列错配问题。 据研究者称，在不同模型规模和模型家族上，OT-DUS 在持续预训练与监督微调中的通用及专业领域整体表现均优于现有方法。分析还发现，在更高位置插入新层不仅性能更强，训练效率也更高。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。