arXiv cs.CL· Salima Lamsiyah, Adelaide Danilov, Oleksandr Marchenko Breneur, Aria Nourbakhsh·· 5 小时前AI 评分22
稀疏自编码器在 NLP 机制可解释性中的关键综述：可恢复性、可解释性与实用性
Sparse Autoencoders for Mechanistic Interpretability in NLP: A Critical Survey of Recoverability, Interpretability, and Utility
AI 导读
一篇综述系统梳理了 138 项关于稀疏自编码器（SAE）用于语言模型机制可解释性的研究，指出设计假设、评估目标和实验设置的差异使结论难以统一。综述提出连接字典设计、特征操作与 NLP 功能的任务分类法，并考察稀疏分配、几何、数据覆盖与推理对特征可恢复性的影响，评估语义可解释性、机制忠实性与行为实用性的证据。
来源：arXiv cs.CL · arxiv.org