研究提出量化鲁棒的LLM遗忘框架

一项研究提出面向大语言模型遗忘的量化鲁棒框架，目标是让模型在被量化压缩后仍保持遗忘效果，同时不损害整体效用。 该框架通过损失景观分析发现，基于曲率的判据能定位导致遗忘不鲁棒、效用下降的敏感权重；据此采用敏感度引导的噪声正则化，把模型收敛导向遗忘损失与保留损失都较低的更平滑极小值，并提出遗忘关键优化，仅更新遗忘关键层以保留其余网络知识。 作者称，在 MUSE 和 TOFU 基准上跨多种 LLM 遗忘算法的实验中，该方法在保持效用的同时实现了更强的抗量化遗忘。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。