arXiv cs.LG· Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven, Cees Snoek·· 6 小时前AI 评分22
流形约束超连接（mHC）用于参数高效微调
Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning
AI 导读
研究者将预训练阶段的流形约束超连接（mHC）迁移到冻结骨干微调，把 Transformer 变为输入依赖的多流残差架构，在每个子层通过多流路由表示。实验发现，保留流混合、仅学习子层如何访问流，可降低损失并减少可训练参数，动态残差路由因此成为基础模型高效微调的一条架构路径。
来源：arXiv cs.LG · arxiv.org