arXiv cs.LG· Yao Fu, Cyrus Chang, Ritchie Zhao, Bryce Long, Yueying Li, Mahdi Kamani, Samkit Jain, Rahul Raman, Tara Safavi, Shreya Gupta, Parsa Ashrafi Fashi, Minseok Lee, Julien Demouth, Bita Darvish Rouhani·· 6 小时前AI 评分25
SPIN：面向稀疏注意力的影子预测索引器
SPIN: Shadow Predictive Indexer for Sparse Attention
AI 导读
SPIN（Shadow Predictive Indexer）通过基于历史的轻量预测识别重要 KV 块，避免每个解码步都对完整 KV cache 打分，从而降低索引器开销。在长上下文与智能体基准测试中，SPIN 实现 30-40% 稀疏度并保持任务质量；在 vLLM 端到端服务中，输出吞吐最高提升 14.9%，中位 inter-token 延迟最高降低 13.2%。
来源：arXiv cs.LG · arxiv.org