研究者提出SAZO零阶优化方法

研究者提出样本自适应零阶优化方法 SAZO，用于大语言模型微调。该方法从现有方向差分中提取梯度范数信息，在线学习样本重要性并自适应分配查询，以加速收敛。 据作者称，相比 MeZO，SAZO 仅增加 O(N) 标量状态、无需额外模型评估，在四个模型族上下游平均性能更优，达到相同训练损失所需查询数最多减少 6 倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。