arXiv cs.LG· Omin Kwon, JoongWon Shin, Minseo Kim, Kurt Keutzer, Sehoon Kim, Jae W. Lee·· 9 小时前AI 评分24
SketchSSM：全状态写入、紧凑草图读取，将线性注意力状态访问流量降低约 10 倍
SketchSSM: Write to the Full State, Read from a Compact Sketch
AI 导读
SketchSSM 提出"全状态更新、近似读取"方案：每次状态更新时读取一次完整状态，为离线固定的基向量预计算输出并存入紧凑草图，后续解码步骤用查询相关系数组合草图向量重建输出，无需再读全状态。
来源：arXiv cs.LG · arxiv.org