研究学习方式如何影响模型遗忘

研究揭示模型的学习方式会显著影响其后续的遗忘（unlearning）表现：以泛化为主的模型在遗忘时对保留集的性能损伤更大。作者通过模块加法中的 grokking 现象区分记忆型与泛化型模型，并引入分桶模块加法在记忆-泛化连续谱上精细控制两种策略的贡献，发现该趋势近乎单调。这一关系在 LLM 的逐字回忆与事实回忆遗忘场景中同样成立。

摘自 arXiv cs.AI

还没有足够的连续观测数据，暂不绘制趋势。