跳到正文
arXiv cs.AI· Yifan Zhang, Jichen Feng, Shihan Qin·· 12 小时前AI 评分29

循环回环 Transformer(RLT):让计算路径随序列长度增长

Recurrent Looped Transformer

AI 导读

研究者提出循环回环 Transformer(RLT),将层拆分为并行因果编码器与循环解码器,解码器每步融合编码器输出与上一 token 的最终解码状态,使计算路径随序列长度增长而单 token 成本固定。

来源:arXiv cs.AI · arxiv.org