arXiv cs.AI· Yifan Zhang, Jichen Feng, Shihan Qin·· 12 小时前AI 评分29
循环回环 Transformer(RLT):让计算路径随序列长度增长
Recurrent Looped Transformer
AI 导读
研究者提出循环回环 Transformer(RLT),将层拆分为并行因果编码器与循环解码器,解码器每步融合编码器输出与上一 token 的最终解码状态,使计算路径随序列长度增长而单 token 成本固定。
来源:arXiv cs.AI · arxiv.org