Tree SAE：从特征集内部学习层级结构

研究者提出 Tree SAE，一种在稀疏自编码器（SAE）中学习层级特征结构的模型。它同时施加激活约束与新的重建约束，从特征集内部直接学习层级关系，而非仅靠激活覆盖判断。 研究者称，Tree SAE 在学习层级特征对方面显著优于现有 SAE，同时在多个关键基准上保持与当前最优方法相当的性能。该模型还被用于刻画子特征子空间的几何结构，并揭示大语言模型中编码的复杂层级概念结构。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。