跳到正文
热点事件持续更新

SPIN:用影子预测降低稀疏注意力索引开销

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Yao Fu 等作者提交论文,提出稀疏注意力索引器 SPIN(Shadow Predictive Indexer)。它用基于历史的轻量预测识别重要 KV 块,不再每个解码步都对完整 KV cache 打分,以降低索引器开销。 作者称,在长上下文与智能体基准测试中,SPIN 达到 30–40% 稀疏度并保持任务质量;在 vLLM 端到端服务中,输出吞吐最高提升 14.9%,中位 inter-token 延迟最高降低 13.2%。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv cs.LG
    SPIN:面向稀疏注意力的影子预测索引器

    SPIN(Shadow Predictive Indexer)通过基于历史的轻量预测识别重要 KV 块,避免每个解码步都对完整 KV cache 打分,从而降低索引器开销。在长上下文与智能体基准测试中,SPIN 实现 30-40% 稀疏度并保持任务质量;在 vLLM 端到端服务中,输出吞吐最高提升 14.9%,中位 inter-token 延迟最高降低 13.2%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。