研究者提出HyGA混合门控注意力框架

Zekun Zhou等作者提出 Hybrid Gated Attention（HyGA）框架，用三种门控策略从注意力的多个阶段提取信息，协同构建 element-wise 与 head-wise 门控，以捕捉头内与跨头的信息交互。 据作者在论文中称，该框架旨在进一步扩展注意力机制在效果与效率之间的帕累托前沿。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。