arXiv cs.CL· Huan Li, Zhe Cao, Qinlei Xie, Fushun Cui, Xuechen Liang·· 11 小时前AI 评分22
用条件锚定蒸馏稳定语言模型持续学习
Stabilizing language models under continual learning via condition-anchored distillation
AI 导读
研究提出条件锚定生成蒸馏（CAGD），保留少量旧提示词，用冻结的旧模型重建补全与生成状态，并在学习新任务时匹配其预测分布。在 219M 掩码扩散语言模型的持续适配中，CAGD 将四任务最终留出损失从 2.927 降至 1.114，反向任务顺序下从 2.168 降至 0.891。在教师生成支持相同的情况下，软目标比硬回放的平均损失低 0.055。
来源：arXiv cs.CL · arxiv.org