GRADE：小语言模型微调的梯度准入框架

研究者 Hongyu Cao 等人提出数据中心化框架 GRADE，用于小语言模型微调。该框架包含两个机制：状态感知采样器持续准入与不断演化的多任务梯度场对齐的样本；自校准步级门控拒绝接近饱和时可能造成破坏性覆盖的更新。 据该研究称，在三种当前代骨干模型和七个异构指令数据集上，GRADE 在准确率与鲁棒性上优于强数据选择和 PEFT 稳定化基线，并且是唯一在每个架构上都稳定优于标准 LoRA 的方法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。