研究者将流形约束超连接用于参数高效微调

研究者 Valentijn Oldenburg 等人提出，把预训练阶段的流形约束超连接（mHC）迁移到冻结骨干的微调中：将 Transformer 改为输入依赖的多流残差架构，每个子层通过多流路由表示。 实验显示，保留流混合、只学习子层如何访问流，可降低损失并减少可训练参数。作者据此认为，动态残差路由是基础模型高效微调的一条架构路径。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。