跳到正文
热点事件持续更新

研究者提出贝叶斯时间感知注意力BTA

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Xinjie Lan 等研究者提出贝叶斯时间感知注意力(BTA),用于非平稳长期时间序列预测。该方法用 MoE 路由器自适应组合时间核,生成以输入为条件、按注意力头定制的位置偏置,以替代难以应对非平稳序列的静态位置编码。 研究者将自注意力解释为对关注位置的贝叶斯后验,并推导出总体级 ELBO 来分析位置编码的作用。据该研究,在标准 LTSF 基准上,BTA 在多种 Transformer 骨干上持续提升预测性能,计算开销适中且训练稳定。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.LG
    超越静态位置编码:面向非平稳长期时间序列预测的贝叶斯时间感知注意力

    研究者提出贝叶斯时间感知注意力(BTA),用 MoE 路由器自适应组合时间核,生成以输入为条件、按注意力头定制的位置偏置,以解决静态位置编码难以应对非平稳时间序列的问题。该方法将自注意力解释为对关注位置的贝叶斯后验,并推导出总体级 ELBO 分析位置编码的作用。在标准 LTSF 基准上,BTA 在多种 Transformer 骨干上持续提升预测性能,计算开销适中且训练稳定。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。