ReGrad:把梯度当可检索知识单元做持续后训练
热点事件持续更新
ReGrad:把梯度当可检索知识单元做持续后训练
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Weihang Su 等研究者提出 ReGrad(Retrievable Gradients),把梯度当作可检索的知识单元用于持续后训练:离线预计算每篇文档专属的梯度并存入索引化的 Gradient Bank,推理时只检索与查询相关的梯度做临时权重适配,而非把知识写进模型权重。 该方法引入双层元学习目标,将文档梯度重塑为可泛化的适配信号。研究者称,在通用与领域特定设置下,ReGrad 均优于 CPT 和 RAG 基线,可实现可扩展、可逆的参数化知识注入,且不累积权重漂移。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
ReGrad:将梯度作为可检索知识单元,实现无权重漂移的持续后训练报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.AIReGrad:将梯度作为可检索知识单元,实现无权重漂移的持续后训练
研究者提出 ReGrad(Retrievable Gradients),把梯度当作可检索的知识单元:离线预计算文档专属梯度并存入索引化的 Gradient Bank,推理时仅检索与查询相关的梯度做临时权重适配。该方法引入双层元学习目标,将文档梯度重塑为可泛化的适配信号,在通用与领域特定设置下均优于 CPT 和 RAG 基线,实现可扩展、可逆的参数化知识注入且不累积权重漂移。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。