arXiv cs.CL· Shivesh Rane·· 2 小时前AI 评分22
Resonant Sequence Models 引入输入依赖读出相位,长序列困惑度从 12.81 降至 3.76
An Input-Dependent Readout Phase for Resonant Sequence Models
AI 导读
ResonantLM 的读出相位被改为当前 token 的函数,仅增加 0.2% 参数,保持卷积精确性。在 WikiText-2 的 6M 参数字符级模型上,训练长度 256、测试长度 1024 时困惑度从 12.81 降至 3.76。分析显示相位确实编码了时间信息,但普通 token 在 2-8 步内即低于背景,阻尼选择也无法将线性重建扩展到约 16 个 token 以上。
来源:arXiv cs.CL · arxiv.org