研究：Mamba-3旋转机制被解释为欠阻尼二阶动力学

Shutian Liang 与 Yue Song 发表论文，将 Mamba-3 在循环状态更新中引入的输入相关旋转解释为欠阻尼二阶动力学，为考察振荡在序列建模中的作用提供框架。 论文称，受控对比显示欠阻尼动力学在状态追踪任务上优于非振荡阻尼机制，语言模型预训练也体现出长上下文预测与长度泛化的收益；对预训练模型的干预证实学习到的相位很重要，状态分析表明旋转调节了保留信息与新增更新的结合方式。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。