研究揭示LLM大规模激活的门控通道机制

一项新研究称，大语言模型中的大规模激活现象由 spike FFN 输入嵌入中的单个通道控制。该通道位置对特定大语言模型固定，研究者将其命名为 massive activation gating channel（MAGC）。 论文作者 Minjia Mao 等人称，这一发现来自对大规模激活出现机制的分析，即大规模激活是否出现取决于该单一通道。研究未在现有材料中说明该机制在其他模型或任务上的适用性。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。