研究者提出GQLA注意力机制并转换DeepSeek-V3.1检查点

研究者 Fanxu Meng、Zhixin Pan 提出 Group-Query Latent Attention（GQLA）注意力机制，并给出 TransGQLA 检查点转换方法。据其描述，GQLA 通过组共享上投影保留联合潜在表示，并支持可分片的扩展缓存；同一套权重可经现有 kernel 执行等价的 MQA-absorb 与 GQA 路径。 该工作同时涉及将 DeepSeek-V3.1 检查点进行转换，但报道未披露转换后的具体效果数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。