arXiv cs.AI· Mingyuan Zhang, Yue Bai, Huan Wang, Yizhou Wang, Qihua Dong, Yitian Zhang, Yun Fu·· 10 小时前AI 评分22
Mask Fine-Tuning：不更新权重，用二值掩码微调提升 LLM 性能
Boosting Large Language Models with Mask Fine-Tuning
AI 导读
研究者提出 Mask Fine-Tuning（MFT），一种在不更新模型权重的前提下，对已充分微调的 LLM 学习并施加二值掩码的微调范式，用标准微调目标做监督。在 LLaMA2-7B 与 LLaMA3.1-8B 上，MFT 使用相同微调数据集在 IFEval 上平均提升 2.70/4.15。该方法可与现有 LLM 优化流程兼容，并将掩码操作从网络剪枝压缩拓展到更广泛的模型能力提升。
来源：arXiv cs.AI · arxiv.org