arXiv cs.AI· Minjia Mao, Shi Chen, Bowen Yin, Xiao Fang·· 5 小时前AI 评分22
大语言模型中的大规模激活门控通道（MAGC）
Massive Activation Gating Channel in Large Language Models
AI 导读
研究发现，大语言模型中大规模激活的出现由 spike FFN 输入嵌入中的单个通道控制，该通道位置对特定 LLM 固定，被命名为 massive activation gating channel（MAGC）。
来源：arXiv cs.AI · arxiv.org