arXiv cs.LG· Zhuolin Fu·· 7 小时前AI 评分24
把 Transformer 看作 EM 推断：神经期望最大化与 meta-models
Neural expectation-maximization and meta-models
AI 导读
研究者将 Transformer 解释为一种混合概率推断的近似：自注意力实现输入条件下动态结构 MRF 上 max-product LBP 的可微近似，注意力权重编码学到的结构亲和度；并按深度建立 EM 对应，每层前向类似 E-step，层间参数转移 θ^(l)→θ^(l+1) 充当隐式 M-step。
来源：arXiv cs.LG · arxiv.org