arXiv cs.AI· Hadi Vafaii, Tejas Rao, David Chanin, Thomas Fel, Jacob L. Yates, Bruno Olshausen, David Klindt, Dileep George, Miguel L\'azaro-Gredilla·· 13 小时前AI 评分24
BeFOND：将稀疏自编码器的推理与学习统一为自然梯度流
Inference and learning in sparse autoencoders as natural gradient flow
AI 导读
研究者提出 BeFOND，一种无编码器的稀疏编码模型，将推理与字典学习统一为共享变分自由能上的自然梯度流，具备闭式推理与学习动态。在合成数据上，BeFOND 提升了字典恢复与稀有特征检测能力，且随叠加程度增加对 amortized 基线的优势扩大；在语言模型激活上，它以更少训练数据超越预训练参考 SAE，特征质量随字典宽度持续提升。
来源：arXiv cs.AI · arxiv.org