Adaptive DHiSparse 分层稀疏KV推测解码提速
热点事件持续更新
Adaptive DHiSparse 分层稀疏KV推测解码提速
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Naji Alazhar 与 Wassel Alazhar 提出 Adaptive DHiSparse，一种在分层稀疏 KV 上支持投机解码、并按负载自适应调整 KV 驻留的方法。 据该研究称，在 100K 上下文、并发 128 的条件下，GLM-5.3 搭配 DFlash2 每解码 GPU 输出 793 tokens/s，为 HiSparse 的 1.45 倍；在相同延迟约束下，并发最高可提升 4 倍。
AI 根据报道生成 · 53 分钟前更新
最新进展10月12日 12:00
Adaptive DHiSparse：面向负载自适应 KV 层级结构的投机解码报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.CLAdaptive DHiSparse：面向负载自适应 KV 层级结构的投机解码
Adaptive DHiSparse 在分层稀疏 KV 上支持投机解码，并按负载自适应调整 KV 驻留。在 100K 上下文、并发 128 下，GLM-5.3 搭配 DFlash2 每解码 GPU 输出 793 tokens/s，为 HiSparse 的 1.45 倍；相同延迟约束下并发最高提升 4 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。