多项式激活损失曲面研究发布

研究者 Xiuyi Yang 发布论文，提出用多项式激活函数 f(z) = z + λz³（经截断并投影到单位球面）并加一条未归一化的恒等路径，构建同一结构在两种规模下的网络。 作为深层堆叠，该网络在 MNIST 上无需任何归一化机制即可训练到一百层；作为小模型，其平方损失是一个可精确求解的多项式系统，小规模解反过来规定了深层堆叠的设计、初始化与训练方式。论文称，这一结果说明多项式激活的损失曲面可用于指导网络设计、初始化与训练。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。