arXiv cs.AI· Zirui Peng, Heyi Zheng, Ziming Liu·· 8 小时前AI 评分27
重新思考激活函数：降低激活偏置可改善学习效果
Rethinking Activation Functions: Reducing Bias Can Improve Learning
AI 导读
研究发现 ReLU、GELU、Swish、Sigmoid 等主流激活函数输出以正值为主，产生非零的激活后均值，即"激活偏置"。激活偏置会加速初期损失下降，但伴随过冲、非平滑轨迹和更陡的损失景观；降低激活偏置虽减慢初期学习，最终损失却更低。在更大规模的视觉与语言模型上，较小的激活偏置同样对应更好的后期表现。
来源：arXiv cs.AI · arxiv.org