研究称语言模型存在叙事性内部机制

David Yiyang Liu 等作者发表论文称，在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中识别出与叙事性相关的注意力头、MLP 神经元和稀疏自编码器特征。 研究显示，消融这些神经元和特征集后，高叙事性文本的下一 token 预测损失增幅大于低叙事性文本，开放式生成的叙事性也随之下降。 在故事补全和叙事问答等下游基准中，上述消融影响最大，但效果因模型和语言而异，虚构与幻觉基准的结果并不一致。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。