arXiv cs.LG· Antonij Mijoski, Marko Karbevski·· 5 小时前AI 评分24
MLP 能否精确吸收自身的残差连接？研究给出否定答案
Can an MLP Absorb Its Own Skip Connection Exactly?
AI 导读
针对残差块 x -> x + MLP(x)，研究发现同宽度的无残差 MLP 无法精确计算相同函数：对 ReLU^2、ReGLU、SwiGLU、GeGLU 等前沿语言模型所用激活函数，该结论在任意深度下无条件成立。仅无门控的 ReLU 和 GELU 存在吸收可能，但仅限于测度为零的权重集合，两类函数族因此普遍不相交，等宽度下移除残差连接并重训练无法精确复现原函数。
来源：arXiv cs.LG · arxiv.org