arXiv cs.LG· Kaicheng Xiao, Haotian Li, Liran Dong, Guoliang Xing·· 9 小时前AI 评分29
RAM-Net:用稀疏可寻址状态实现线性时间序列建模
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
AI 导读
RAM-Net 将循环状态组织为固定大小的独立槽位数组,通过 Address Decoder 把每个 key 或 query 映射为稀疏地址,只读写少量槽位,从而抑制 token 间干扰。该模型在细粒度长程检索上优于强循环基线,困惑度最低且常识推理具竞争力,每步访问的状态元素比 Mamba2 少 8 倍。论文已被 NeurIPS 2026 接收。
来源:arXiv cs.LG · arxiv.org