提出掩码微调MFT方法
热点事件持续更新
提出掩码微调MFT方法
1 篇报道1 个报道来源9 小时前更新
先了解这件事
报道摘要
研究者提出 Mask Fine-Tuning（MFT），一种在不更新模型权重的前提下，对已充分微调的 LLM 学习并施加二值掩码的微调范式，用标准微调目标做监督。在 LLaMA2-7B 与 LLaMA3.1-8B 上，MFT 使用相同微调数据集在 IFEval 上平均提升 2.70/4.15。该方法可与现有 LLM 优化流程兼容，并将掩码操作从网络剪枝压缩拓展到更广泛的模型能力提升。
摘自 arXiv cs.AI
最新进展10月7日 12:00
Mask Fine-Tuning：不更新权重，用二值掩码微调提升 LLM 性能报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv cs.AIMask Fine-Tuning：不更新权重，用二值掩码微调提升 LLM 性能
研究者提出 Mask Fine-Tuning（MFT），一种在不更新模型权重的前提下，对已充分微调的 LLM 学习并施加二值掩码的微调范式，用标准微调目标做监督。在 LLaMA2-7B 与 LLaMA3.1-8B 上，MFT 使用相同微调数据集在 IFEval 上平均提升 2.70/4.15。该方法可与现有 LLM 优化流程兼容，并将掩码操作从网络剪枝压缩拓展到更广泛的模型能力提升。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。