arXiv cs.LG· Jeffrey B. Lai, John Quinn, Anthony Bao, William Gilpin·· 7 小时前AI 评分27
Test-Time Forecasting：循环深度让 Transformer 在上下文中预测动力学系统
Test-Time Forecasting: Recurrent Depth Enables In-Context Dynamics Prediction
AI 导读
研究者提出 Test-Time Forecasting（TTF）框架，通过将线性注意力与（扩展）动态模式分解建立联系，让循环 Transformer 在上下文中模拟动力学系统的传播算子。TTF 用梯度下降迭代充当循环深度，仅训练单步预测的轻量模型即可在自回归推演中泛化到分布外的 ODE 与 PDE 动力学。
来源：arXiv cs.LG · arxiv.org