arXiv cs.CL· Sovesh Mohapatra, Dani S Bassett·2026-10-12 12:00· 2 小时前AI 评分22

任务上下文如何塑造语言模型内部组件的角色

Task Context Shapes Component Roles in Language Models

AI 导读

一项 arXiv 研究对比了五个开源权重模型（覆盖四个家族、1.5-14B 参数）在不同任务下固定组件的表现，发现任务变化会重新分配注意力头的影响力。在 Gemma-2-9B 和 Qwen3-14B 中，一次激活编辑即可改变早期内部激活向量，在指令不变的情况下切换模型读取的事实。

来源：arXiv cs.CL · arxiv.org