arXiv cs.LG· Nils Grandien, David Steinmann, Felix Friedrich, Kristian Kersting·· 5 小时前AI 评分29
稀疏自编码器（SAE）能学到有意义的概念层级吗？
Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?
AI 导读
研究针对稀疏自编码器（SAE）的无监督概念发现，提出了一套面向泛化/特化层级的关键要求与具体评估协议。在视觉数据上训练的现有 SAE 方法显示，特征空间虽普遍具备合理层级的基础，但建立良好层级结构仍具挑战。特征吸收（包括硬形式和连续的软形式）会系统性损害层级质量，揭示出未来方法需应对的根本性张力。
来源：arXiv cs.LG · arxiv.org