arXiv cs.LG· Mingyuan Zhang, Yue Bai, Yifan Wang, Yiyang Huang, Yun Fu·· 5 小时前AI 评分17
重新思考微调:Mask Fine-Tuning 无需改动权重即可释放视觉语言模型隐藏能力
Rethinking Fine-Tuning: Unlocking Hidden Capabilities in Vision-Language Models
AI 导读
研究者提出 Mask Fine-Tuning(MFT),一种不修改骨干权重的视觉语言模型适配方法,通过学习掩码选择性路由预训练连接中的信息,动态发现更对齐下游目标的子网络。实验显示 MFT 在多个视觉语言基准上持续优于 Full Fine-Tuning(FFT)和 Parameter-Efficient Fine-Tuning(PEFT),且不增加知识、不改变部署架构。
来源:arXiv cs.LG · arxiv.org