arXiv cs.LG· Anat Kleiman, Gintare Karolina Dziugaite, Jonathan Frankle, Sham Kakade, Mansheej Paul·· 7 小时前AI 评分26
无需回放或辅助目标：SFA 与 Lookahead 如何缓解持续学习中的灾难性遗忘
Forget About It: Mitigating Forgetting Without Replay or Auxiliary Objectives
AI 导读
研究提出 Sequential Fine-tuning with Averaging（SFA），并与为优化稳定性设计的无回放 Lookahead 对比，在 Qwen3-14B 适配器持续学习中，两者固定配置的平均最终准确率超过所测回放与自适应合并方案，任务训练时间最多减少 36.3%。在语言和视觉任务上，其结果可与更复杂的持续学习方法竞争，表明简单训练中插值值得在引入更复杂遗忘缓解机制前优先考虑。
来源：arXiv cs.LG · arxiv.org