arXiv cs.LG· Zhen Li·· 3 小时前AI 评分12
表征学习中的残差谱不稳定性:VAE 维度逐次坍缩的谱级联理论
Residual spectral instabilities in representation learning
AI 导读
研究将 VAE 的维度级后验坍缩表述为部分坍缩态附近的涨落理论,把负 ELBO 视为有效自由能,其二次展开的 Hessian 充当潜变量涨落的质量矩阵。坍缩方向构成不变涨落扇区,其精确质量谱由条件残差算子给出;当解码器方差低于残差谱上边缘时,局部重激活方向降低自由能,等号对应临界。数值延拓实验显示潜维度在这些谱临界点附近逐次丢失,支持由残差信息主导的谱级联解释。
来源:arXiv cs.LG · arxiv.org