arXiv cs.LG· Zhiyuan Li, Zihan Li, Zefang Yuan, Lei Wang, Hao Wang·· 3 小时前AI 评分22
PageWeaver：KV 引导的查询合并实现稀疏注意力
PageWeaver: KV-Guided Query Unions for Sparse Attention
AI 导读
PageWeaver 是一种利用已选 KV 页亲和度来组装查询分组的稀疏注意力执行设计，在保持每个查询原始支持集与完整输出归属的前提下共享页加载。在 FP8 KV 下，H200 的 Union8 实现在六组捕获上相对 FlashInfer 路径取得 1.70x 几何平均完整调用加速，在线重组在五组 64K 上下文捕获上再降 3.26-7.66% 延迟。
来源：arXiv cs.LG · arxiv.org