语言模型微调中的伪遗忘机制：遗忘为何不总是灾难性的

语言模型微调时看似遗忘的知识往往仍被存储且可恢复，这种现象被称为伪遗忘。研究通过一个最小联想记忆模型复现了该动态：共享结构的键、集中的新值和网络归一化三者共同作用，微调将所有旧表示沿同一方向移动，暂时隐藏旧事实但保留其相对几何结构；归一化在新事实学会后撤回这一偏移，而事实特异性变化则持续累积并导致侵蚀。