arXiv cs.LG· Fanxu Meng, Zhixin Pan·· 7 小时前AI 评分28
GQLA:面向硬件自适应解码的组查询潜在注意力
GQLA: Group-Query Latent Attention for Hardware-Adaptive Decoding
AI 导读
研究者提出 Group-Query Latent Attention(GQLA),用组共享上投影保留联合潜在表示并支持可分片的扩展缓存,同一套权重可经现有 kernel 执行等价的 MQA-absorb 与 GQA 路径。
来源:arXiv cs.LG · arxiv.org