研究MLP能否精确吸收自身残差连接
热点事件持续更新
研究MLP能否精确吸收自身残差连接
1 篇报道1 个报道来源4 小时前更新
先了解这件事
报道摘要
针对残差块 x -> x + MLP(x)，研究发现同宽度的无残差 MLP 无法精确计算相同函数：对 ReLU^2、ReGLU、SwiGLU、GeGLU 等前沿语言模型所用激活函数，该结论在任意深度下无条件成立。仅无门控的 ReLU 和 GELU 存在吸收可能，但仅限于测度为零的权重集合，两类函数族因此普遍不相交，等宽度下移除残差连接并重训练无法精确复现原函数。
摘自 arXiv cs.LG
最新进展10月7日 12:00
MLP 能否精确吸收自身的残差连接？研究给出否定答案报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv cs.LGMLP 能否精确吸收自身的残差连接？研究给出否定答案
针对残差块 x -> x + MLP(x)，研究发现同宽度的无残差 MLP 无法精确计算相同函数：对 ReLU^2、ReGLU、SwiGLU、GeGLU 等前沿语言模型所用激活函数，该结论在任意深度下无条件成立。仅无门控的 ReLU 和 GELU 存在吸收可能，但仅限于测度为零的权重集合，两类函数族因此普遍不相交，等宽度下移除残差连接并重训练无法精确复现原函数。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。