arXiv cs.LG· Yudou Tian, Neeraj Mohan Sushma, Harshvardhan Mestha, Nicolo Colombo, David Kappel, Anand Subramoney·· 6 小时前AI 评分27
GRIL：用线性循环网络在循环状态中实现梯度下降式上下文学习
Learning in the Recurrent State: Gradient Descent with Linear Recurrent Networks
AI 导读
研究者提出 GRIL（Gradient-based Recurrent In-context Learner），一种对角线性循环网络（LRNN），将监督梯度步分解为短窗口交叉积写入与对下一查询的乘法读出，从而在单次前向传播中完成上下文梯度下降，仅需 O(f²) 个可学习自由度。
来源：arXiv cs.LG · arxiv.org