arXiv cs.AI· Zeyu Fan, Alexandru-Dragos Manolache, Jan van Gemert·· 8 小时前AI 评分22
RNN Homunculus：门控 RNN 如何学会长程记忆
The RNN Homunculus: Learning to Gate Long-Term Memory
AI 导读
门控 RNN 的长程记忆能力依赖门值本身的学习，而这一过程同样受困于梯度消失。研究通过受控序列分类任务发现，当所有训练样本都要求长程记忆时，GRU、LSTM 等门控架构表现不佳；加入短依赖样本后，模型能学会捕获长依赖并跨类别泛化，测试准确率可匹配甚至超过 Mamba 和 xLSTM。
来源：arXiv cs.AI · arxiv.org