arXiv cs.AI· Hongyu Cao, Yanchi Liu, Kunpeng Liu, Xujiang Zhao, Wei Cheng, Zhengzhang Chen, Yanjie Fu, Haifeng Chen·· 5 小时前AI 评分22
GRADE：面向数据中心化小语言模型微调的梯度准入方法
Which and When to Admit: Gradient Admission for Data-Centric Small Language Model Finetuning
AI 导读
研究者提出数据中心化框架 GRADE（GRadient-Aligned Data-centric rEcipe），通过状态感知采样器持续准入与多任务梯度场对齐的样本，并用自校准步级门控拒绝接近饱和时可能造成破坏性覆盖的更新。在三种当前代骨干模型和七个异构指令数据集上，GRADE 在准确率与鲁棒性上优于强数据选择和 PEFT 稳定化基线，是唯一在每个架构上都稳定优于标准 LoRA 的方法。
来源：arXiv cs.AI · arxiv.org