研究揭示语言模型微调中的伪遗忘机制

Vedant Palit等作者发表论文，研究语言模型微调时看似遗忘的知识为何往往仍被存储且可恢复，即“伪遗忘”。研究通过一个最小联想记忆模型复现该动态，认为共享结构的键、集中的新值和网络归一化三者共同作用：微调将所有旧表示沿同一方向移动，暂时隐藏旧事实但保留其相对几何结构；归一化在新事实学会后撤回这一偏移，而事实特异性变化则持续累积并导致侵蚀。 论文称，其目标是理解这种遗忘在何时不是灾难性的。

AI 根据报道生成 · 8 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。