arXiv stat.ML· Ciar\'an M. Gilligan-Lee, Joseph Egan, Yuchen Zhu, Michael O'Riordan·· 2 小时前AI 评分37
无需监督识别并移除微调中的虚假相关：GRASP 方法
Unsupervised Identification and Removal of Spurious Correlations During Fine-Tuning
AI 导读
研究者提出 GRASP（GRadient Projection of Associated Spurious Patterns），可在无监督条件下从朴素 LoRA 微调权重中识别虚假相关的潜在因子，并通过梯度投影阻止模型新增对该因子的依赖，同时保留预训练内容。
来源：arXiv stat.ML · arxiv.org