跳到正文
arXiv cs.CL· Hanzuo Liu, Xuan Qi, Chunyu Liu, Haotian Zhong, Yulong Wang, Key, Rayying, Alex Lamb, Mingyu Gao·· 4 小时前AI 评分24

CoMem:通过持久化中间残差在多次查询间复用 Transformer 深度

CoMem: Reusing Transformer Depth across Queries with Persistent Intermediate Residuals

AI 导读

CoMem 将 Transformer 的分割深度 j 变为可复用的上下文轴,每个 token 写入一份深度 j 的残差,仅恢复 [j:L) 层。

来源:arXiv cs.CL · arxiv.org