跳到正文
热点事件持续更新

ReGrad:把梯度当可检索知识单元做持续后训练

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Weihang Su 等研究者提出 ReGrad(Retrievable Gradients),把梯度当作可检索的知识单元用于持续后训练:离线预计算每篇文档专属的梯度并存入索引化的 Gradient Bank,推理时只检索与查询相关的梯度做临时权重适配,而非把知识写进模型权重。 该方法引入双层元学习目标,将文档梯度重塑为可泛化的适配信号。研究者称,在通用与领域特定设置下,ReGrad 均优于 CPT 和 RAG 基线,可实现可扩展、可逆的参数化知识注入,且不累积权重漂移。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    ReGrad:将梯度作为可检索知识单元,实现无权重漂移的持续后训练

    研究者提出 ReGrad(Retrievable Gradients),把梯度当作可检索的知识单元:离线预计算文档专属梯度并存入索引化的 Gradient Bank,推理时仅检索与查询相关的梯度做临时权重适配。该方法引入双层元学习目标,将文档梯度重塑为可泛化的适配信号,在通用与领域特定设置下均优于 CPT 和 RAG 基线,实现可扩展、可逆的参数化知识注入且不累积权重漂移。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。