arXiv cs.LG· Xinjie Lan, Yunbo Mei, Leheng Zhou, Hao Qi·· 7 小时前AI 评分22
超越静态位置编码：面向非平稳长期时间序列预测的贝叶斯时间感知注意力
Beyond Static Positional Encoding: Bayesian Time-aware Attention for Non-Stationary Long-term Time Series Forecasting
AI 导读
研究者提出贝叶斯时间感知注意力（BTA），用 MoE 路由器自适应组合时间核，生成以输入为条件、按注意力头定制的位置偏置，以解决静态位置编码难以应对非平稳时间序列的问题。该方法将自注意力解释为对关注位置的贝叶斯后验，并推导出总体级 ELBO 分析位置编码的作用。在标准 LTSF 基准上，BTA 在多种 Transformer 骨干上持续提升预测性能，计算开销适中且训练稳定。
来源：arXiv cs.LG · arxiv.org