arXiv cs.AI· Yanqi Yu, Pingwei Sun, Jianchao Tan, Tao Zhang, Yuchen Xie, Xunliang Cai, Yao Liu·· 1 天前AI 评分27
DASC：面向混合线性注意力推理的衰减感知状态压缩
DASC: Decay-Aware State Compression for Hybrid Linear-Attention Serving
AI 导读
针对混合线性注意力模型中循环状态检查点占用显存过大的问题，研究者提出衰减感知状态压缩（DASC），依据 Gated DeltaNet（GDN）与 Kimi Delta Attention（KDA）不同头和通道的"保留时程"差异，筛选长时程状态单元并打包为不规则检查点布局，同时在 TP rank 间做均衡。
来源：arXiv cs.AI · arxiv.org