跳到正文
arXiv cs.CL· Shivesh Rane·· 2 小时前AI 评分22

Resonant Sequence Models 引入输入依赖读出相位,长序列困惑度从 12.81 降至 3.76

An Input-Dependent Readout Phase for Resonant Sequence Models

AI 导读

ResonantLM 的读出相位被改为当前 token 的函数,仅增加 0.2% 参数,保持卷积精确性。在 WikiText-2 的 6M 参数字符级模型上,训练长度 256、测试长度 1024 时困惑度从 12.81 降至 3.76。分析显示相位确实编码了时间信息,但普通 token 在 2-8 步内即低于背景,阻尼选择也无法将线性重建扩展到约 16 个 token 以上。

来源:arXiv cs.CL · arxiv.org