arXiv cs.AI· Chenlu Ding, Jiancan Wu, Yanchen Luo, Tianyu Zhang, Yancheng Yuan, Xiang Wang, Xiangnan He·· 8 小时前AI 评分22
CUSE:面向多模态大模型的细粒度反事实引导在线自蒸馏遗忘框架
CUSE: Fine-Grained Multimodal Unlearning with Counterfactual Guidance and On-Policy Self-Distillation
AI 导读
针对多模态大语言模型遗忘方法 token 控制粗糙、依赖固定离线监督的问题,研究者提出 CUSE 框架,通过移除目标相关证据构建反事实输入,利用 token 概率变化定位需强化遗忘的 token,并以冻结的原始模型为教师、结合遗忘与保留两类特权上下文,对当前策略采样响应做 token 级在线自蒸馏。
来源:arXiv cs.AI · arxiv.org