arXiv cs.LG· Shih-Cheng Huang, Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Hung-yi Lee, Shao-Hua Sun·· 12 小时前AI 评分24
αTransfer：用小模型迁移合并系数，实现高效模型合并
$\alpha$Transfer: Coefficient Transfer for Efficient Model Merging
AI 导读
模型合并需搜索最优合并系数，随模型规模和数量增长成本极高。αTransfer 发现同一模型族内不同规模模型的合并系数性能分布高度一致，可先在小代理模型上搜索系数再直接迁移到大模型。实验显示，该方法在视觉 Transformer 上提速 6 倍、内存降低 70%，在大语言模型上提速 20 倍、内存降低 85%，性能相当。
来源：arXiv cs.LG · arxiv.org