arXiv cs.AI· Jiawen Qi, Jiayu Liu, Chang Gao, Zhaochun Ren, Qinyu Chen·2026-10-12 12:00· 6 小时前AI 评分22

DeltaLLM：面向边缘 LLM 的 Delta-Key 稀疏注意力框架

DeltaLLM: Delta-Key Sparse Attention for Edge LLMs

AI 导读

DeltaLLM 是一个免训练的 LLM 框架，通过算法-硬件-数据流协同设计加速边缘设备上的预填充注意力。它引入因果注意力感知的 K-only delta 公式，在 GQA 下实现跨查询头的 Delta-Key 复用，并提出 VSSOS 将细粒度稀疏转为列级跳过。

来源：arXiv cs.AI · arxiv.org