研究：Qwen 模型可自选回放数据减轻遗忘

一项发表于 arXiv 的研究发现，Qwen 模型在持续指令微调中能通过生成回放数据，自行选择要保留的目标，从而减少对 Task Bank 之外任务的遗忘。 研究将任务描述与示例组织为 Task Banks，用不同规模的 Qwen 模型做持续指令微调。结果显示，生成回放能减轻遗忘；组合部分 Task Bank 还可进一步提升对先前正确答案的平均保留率。 作者 Dongkyu Cho、Rumi Chunara 和 Ali Behrouz 将这一能力称为语言模型的“自我保存”，即模型帮助选择保护目标以更广泛地维护自身能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。