arXiv cs.AI· Minjia Mao, Shi Chen, Bowen Yin, Xiao Fang·· 11 小时前AI 评分22
大语言模型中的大规模激活门控通道（MAGC）
Massive Activation Gating Channel in Large Language Models
AI 导读
研究发现，大语言模型中大规模激活的出现由 spike FFN 输入嵌入中的单个通道控制，该通道位置对特定 LLM 固定，被命名为 massive activation gating channel（MAGC）。
来源：arXiv cs.AI · arxiv.org