arXiv cs.LG· Teif Aldaajani, Huda Hakami, Maha A. Thafar·· 7 小时前AI 评分22
SPARS:面向持续学习的稳定性-可塑性感知区域选择框架
SPARS: A Stability-Plasticity-Aware Region Selection Framework for Continual Learning
AI 导读
针对持续学习中的灾难性遗忘问题,研究者提出无回放的混合框架 SPARS,将全局参数隔离与局部参数正则化结合。SPARS 用 Fisher 信息矩阵或基于 logit 敏感度的 Confidence Score 估计参数重要性,把参数划分为 winning、neighboring 和 non-important 三个区域,分别采取选择性冻结、软正则化和无限制学习策略。
来源:arXiv cs.LG · arxiv.org