跳到正文
热点事件持续更新

PageWeaver 提出 KV 引导查询合并稀疏注意力

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Zhiyuan Li 等作者发表 PageWeaver,一种稀疏注意力执行设计:利用已选 KV 页的亲和度来组装查询分组,在保持每个查询原始支持集与完整输出归属的前提下共享页加载。 据该研究,在 FP8 KV 下,H200 上的 Union8 实现在六组捕获上相对 FlashInfer 路径取得 1.70 倍几何平均完整调用加速;在线重组在五组 64K 上下文捕获上再降低 3.26%–7.66% 延迟。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv cs.LG
    PageWeaver:KV 引导的查询合并实现稀疏注意力

    PageWeaver 是一种利用已选 KV 页亲和度来组装查询分组的稀疏注意力执行设计,在保持每个查询原始支持集与完整输出归属的前提下共享页加载。在 FP8 KV 下,H200 的 Union8 实现在六组捕获上相对 FlashInfer 路径取得 1.70x 几何平均完整调用加速,在线重组在五组 64K 上下文捕获上再降 3.26-7.66% 延迟。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。