不完备线性自编码器中的尺度对称性破缺

研究发现，不完备线性自编码器在 PCA 解流形上，SGD 会偏好较大的解码器权重，产生有方向的尺度漂移。该漂移发生在慢时间尺度上，且具有可解析处理的有效描述，但最终会因有限步长稳定性边界而停止。所得解在损失 Hessian 最大特征值意义上比平衡基线更尖锐，但不同尖锐度度量可能方向相反。