arXiv cs.LG· Xiuyi Yang·· 7 小时前AI 评分22
多项式激活函数的损失曲面如何指导网络设计、初始化与训练
Trainable at Depth, Solvable at Small Size: What the Loss Surface of a Polynomial Activation Dictates for Designing, Initializing and Training Networks
AI 导读
研究者用多项式激活 f(z) = z + λz³（经截断并投影到单位球面）加一条未归一化的恒等路径，构建了同一结构在两种规模下的网络。作为深层堆叠，它在 MNIST 上无需任何归一化机制即可训练到一百层；作为小模型，其平方损失是一个可精确求解的多项式系统，小规模解反过来规定了深层堆叠的设计、初始化与训练方式。
来源：arXiv cs.LG · arxiv.org