Hacker News· E-Reverance·· 11 小时前AI 评分48
Dust:无需反向传播的 Transformer 预训练方法
Dust: Pretraining Transformers Without Backpropagation
AI 导读
研究团队提出 Dust,首个在预训练 Transformer 语言模型上可与反向传播竞争的第零阶方法,通过在每个 token 上独立扰动激活(节点扰动)实现虚拟种群,单次前向传播即可并行评估所有成员。
来源:Hacker News · qlabs.sh