从振荡动力学理解 Mamba-3

研究将 Mamba-3 在循环状态更新中引入的输入相关旋转解释为欠阻尼二阶动力学，为考察振荡在序列建模中的作用提供了框架。受控对比显示，欠阻尼动力学在状态追踪任务上优于非振荡阻尼机制，语言模型预训练也体现出长上下文预测与长度泛化的收益。对预训练模型的干预进一步证实学习到的相位很重要，状态分析表明旋转调节了保留信息与新增更新的结合方式。