arXiv cs.LG· Giovanni Monea, Keshav Ramji, Yousef El-Kurdi, Luis A. Lastras, Yoav Artzi, Nathan Godey, Ram\'on Fernandez Astudillo·· 1 天前AI 评分29
共享内存为何在 Looped Transformer 中出奇有效
The Surprising Effectiveness of Shared Memory in Looped Transformers
AI 导读
研究者预训练了共享内存的 Looped Transformer（LPT），仅第一次递归写入 key-value cache，后续递归读取该缓存并保留自身短窗口，结果共享内存不但不损质量反而提升质量。
来源：arXiv cs.LG · arxiv.org