arXiv cs.CL· Baohang Li, Xiaocheng Feng, Yichong Huang, Chengpeng Fu, Wenshuai Huo, Zekun Zhou, Zekun Yuan, Tingjia Zhang, Bing Qin·· 1 天前AI 评分22
面向大语言模型多任务后训练的自适应互蒸馏框架 AMD
Adaptive Mutual Distillation for Balanced Multi-Task Post-Training of Large Language Models
AI 导读
研究者提出自适应互蒸馏（AMD），一种协同后训练框架，同时训练两个采用不同任务平衡策略的模型，通过跨任务共享的短训练探针评估蒸馏权重调整，再按任务和迁移方向用验证分数择优。在六个基准和三个 LLM 主干上，两个 AMD 模型平均分均超过相同采样策略的 SFT 基线，合并后模型在三个主干上平均超出多任务 SFT 2.91 分。
来源：arXiv cs.CL · arxiv.org