Dust：无需反向传播预训练Transformer

研究团队提出一种名为 Dust 的第零阶优化方法，称其是首个在预训练 Transformer 语言模型上能与反向传播竞争的无梯度方法。 Dust 的做法是在每个 token 上独立扰动激活（节点扰动），以此构造虚拟种群，单次前向传播即可并行评估所有成员，从而避免反向传播。 上述“可与反向传播竞争”的说法来自研究团队自身，尚未见独立验证。

AI 根据报道生成 · 10 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。