arXiv cs.CL· David Yiyang Liu, Aditya Joshi, Paul Dawson, Andrew Piper·· 2 小时前AI 评分24
语言模型具有可解释的叙事机制
Language Models Have Interpretable Narrative Mechanisms
AI 导读
研究在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中识别出与叙事性相关的注意力头、MLP 神经元和稀疏自编码器特征。消融这些神经元和特征集后，高叙事性文本的下一 token 预测损失增幅大于低叙事性文本，开放式生成的叙事性也随之下降。下游基准中，故事补全和叙事问答任务受影响最大，但效果因模型和语言而异，虚构与幻觉基准结果不一。
来源：arXiv cs.CL · arxiv.org