跳到正文
Hacker News· E-Reverance·· 11 小时前AI 评分48

Dust:无需反向传播的 Transformer 预训练方法

Dust: Pretraining Transformers Without Backpropagation

AI 导读

研究团队提出 Dust,首个在预训练 Transformer 语言模型上可与反向传播竞争的第零阶方法,通过在每个 token 上独立扰动激活(节点扰动)实现虚拟种群,单次前向传播即可并行评估所有成员。

来源:Hacker News · qlabs.sh