arXiv cs.CL· Zekun Zhou, Ruobing Xie, Lanrui Wang, Weixuan Sun·· 5 小时前AI 评分22
HyGA：混合门控注意力框架
Hybrid Gated Attention
AI 导读
研究者提出 Hybrid Gated Attention（HyGA）框架，通过三种门控策略从注意力多个阶段提取信息，协同构建 element-wise 与 head-wise 门控，捕捉头内与跨头信息交互。
来源：arXiv cs.CL · arxiv.org