arXiv cs.LG· Zinan Ling, Yang Xiao, Ruimeng Ye, Sijia Liu, Bo Hui·· 7 小时前AI 评分22
RA²：Retain-Anchored Attraction 在 LLM 遗忘中保留遗忘邻近效用
RA$^2$: Retain-Anchored Attraction Preserves Forget-Adjacent Utility in LLM Unlearning
AI 导读
研究者提出 LLM 遗忘方法 RA²（Retain-Anchored Attraction），将 forget token 的隐空间状态重定向到邻近的 retain 支持表示，同时保留高层在 retain 数据上的行为。在 WMDP 和 MUSE 上，RA² 在相近的广泛效用水平下取得比强基线更高的遗忘邻近效用，表明 forget 表示的迁移方向会影响遗忘边界附近的良性行为。代码已开源。
来源：arXiv cs.LG · arxiv.org