arXiv cs.AI· Ze-Wei Liou, Harris Nover, Amey Naik, Andrii Skliar, Igor Shovkun, Ido Shahaf, Tri Dao·· 1 天前AI 评分27
ReplaySSM：缓存 SSM 输入而非状态，在 vLLM 中为 Mamba-2 与 Gated DeltaNet 提速 1.20–1.47 倍
ReplaySSM: Cache SSM Inputs, Not State
AI 导读
ReplaySSM 提出用检查点加近期 SSM 输入缓冲区替代逐步读写循环状态，将输出计算与检查点更新分离，从而在多数解码步避免状态写入，把主要状态内存流量减少约一半。
来源：arXiv cs.AI · arxiv.org