arXiv cs.CL· Xiaocong Yang, Xuanyu Meng, Yuji Zhang, Jiawei Han, ChengXiang Zhai·· 5 小时前AI 评分24
SAE-IDF：用稀疏自编码器为符号匹配构建共享坐标系
Sparse Autoencoders Are a Shared Coordinate System for Symbolic Matching
AI 导读
研究者提出 SAE-IDF，用稀疏自编码器（SAE）将符号编码为稀疏码，并按维度稀有度重新加权，从而在不同符号系统间完成匹配。在 6 类符号系统的 12 项任务上，SAE-IDF 在 Gemma-2-9B 上全部超越同模型稠密基线，在 Llama-3.1-8B 上仅一项未超越，最高领先 45 分。该方法每个稀疏码维度都有可读含义，匹配结果可分解为具名概念。
来源：arXiv cs.CL · arxiv.org