跳到正文
arXiv cs.LG· Fanxu Meng, Zhixin Pan·· 7 小时前AI 评分28

GQLA:面向硬件自适应解码的组查询潜在注意力

GQLA: Group-Query Latent Attention for Hardware-Adaptive Decoding

AI 导读

研究者提出 Group-Query Latent Attention(GQLA),用组共享上投影保留联合潜在表示并支持可分片的扩展缓存,同一套权重可经现有 kernel 执行等价的 MQA-absorb 与 GQA 路径。

来源:arXiv cs.LG · arxiv.org