研究揭示SAE在组合泛化上失败源于字典学习
热点事件持续更新
研究揭示SAE在组合泛化上失败源于字典学习
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
研究发现稀疏自编码器（SAEs）在分布外组合泛化上失败，根源在于字典学习而非推理过程：SAE 学到的字典方向严重偏离，即便用逐样本 FISTA 替换编码器也无法弥合差距。该摊销差距在不同训练集规模、潜维度和稀疏度下持续存在，而 oracle 基线证明只要字典足够好问题即可解决。在 Pythia-70M 和 Gemma-2-2B 真实 LLM 激活上的实验将 SAE 失败重新定义为字典学习挑战。
摘自 arXiv cs.LG
最新进展10月9日 12:00
别再探针了，开始编码：为何线性探针与稀疏自编码器在组合泛化上失败报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv cs.LG别再探针了，开始编码：为何线性探针与稀疏自编码器在组合泛化上失败
研究发现稀疏自编码器（SAEs）在分布外组合泛化上失败，根源在于字典学习而非推理过程：SAE 学到的字典方向严重偏离，即便用逐样本 FISTA 替换编码器也无法弥合差距。该摊销差距在不同训练集规模、潜维度和稀疏度下持续存在，而 oracle 基线证明只要字典足够好问题即可解决。在 Pythia-70M 和 Gemma-2-2B 真实 LLM 激活上的实验将 SAE 失败重新定义为字典学习挑战。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。