arXiv cs.CL· Naji Alazhar, Wassel Alazhar·2026-10-12 12:00· 2 小时前AI 评分22

Adaptive DHiSparse：面向负载自适应 KV 层级结构的投机解码

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

AI 导读

Adaptive DHiSparse 在分层稀疏 KV 上支持投机解码，并按负载自适应调整 KV 驻留。在 100K 上下文、并发 128 下，GLM-5.3 搭配 DFlash2 每解码 GPU 输出 793 tokens/s，为 HiSparse 的 1.45 倍；相同延迟约束下并发最高提升 4 倍。

来源：arXiv cs.CL · arxiv.org

推理能力部署工程数据与训练论文研究 #论文/研究 #推理 #部署/工程 #数据/训练