跳到正文
arXiv cs.AI· Yining Li, Dongchen Han, Jie Fu, Gao Huang·· 12 小时前AI 评分21

DeltaTTT:面向非线性循环记忆的逐层优化方法

DeltaTTT: Layerwise Optimization for Nonlinear Recurrent Memory

AI 导读

针对非线性记忆网络在序列测试时训练中难以单遍优化、串行 TTT 反而不如固定基座并行 TTT 的问题,研究者提出 DeltaTTT,将两层记忆网络的联合内循环优化改为逐层学习,每层分配局部预测目标并通过状态相关的 delta 规则更新。该方法保留非线性读出并支持分块并行计算,在 DeltaNet 和 LaCT 骨干上提升了语言建模与检索表现。

来源:arXiv cs.AI · arxiv.org