arXiv cs.CL· Prasoon Dev, Anirudh Sankar, Vasudeva Varma·· 1 天前AI 评分22
MS-GLA：用多时间分辨率解决 Gated Linear Attention 表征瓶颈
MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution
AI 导读
研究者提出 Multi-Scale Gated Linear Attention（MS-GLA），将注意力头分配到多个时间分辨率上，粗粒度头池化更长 token 跨度以捕捉长程依赖，细粒度头保留局部句法敏感性，并通过可学习、输入相关的融合层动态重组各头组输出。
来源：arXiv cs.CL · arxiv.org