arXiv cs.LG· Yue Min, Ruining Chen, Yujun Li·· 3 小时前AI 评分18
GRASP：面向可扩展预训练数据归因的几何感知残差对齐方法
GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution
AI 导读
研究者提出 GRASP，一种交互感知的代理方法，将数据归因重新定义为子集级反事实效用预测，通过二次几何惩罚显式建模子集交互。在子集重训练评估中，GRASP 将反事实子集保真度的任务级排名相关性提升一倍以上，同时将近乎一个数量级地降低前期工件构建成本。该评分机制还可迁移至语言模型数据筛选与跨域视觉选择。
来源：arXiv cs.LG · arxiv.org