研究：SGD在欠完备线性自编码器中偏好大解码器权重

一项新研究显示，欠完备线性自编码器在 PCA 解流形上训练时，随机梯度下降（SGD）会偏好较大的解码器权重，产生有方向的尺度漂移，而非保持编码器与解码器权重平衡。 作者 Farhad Pashakhanloo 和 Jacob A. Zavatone-Veth 称，这种漂移发生在慢时间尺度上，具有可解析处理的有效描述，但最终会因有限步长稳定性边界而停止。所得解在损失 Hessian 最大特征值意义上比平衡基线更尖锐，不过不同尖锐度度量可能给出相反方向。

AI 根据报道生成 · 14 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。