跳到正文
热点事件持续更新

研究:时间序列模型可跳过部分Transformer块

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

一项研究测试了在推理时移除整个 Transformer 块对两个预训练时间序列基础模型的影响。结果显示,在中等稀疏度下,Chronos-Bolt 保留 11 个候选块中的 7 个、TimesFM 2.5 保留 20 个中的 16 个时,预测质量变化很小,而 A100 单批次(batch-1)延迟中位数分别降低 11.2% 和 13.4%。 该研究由 Max Bourgeat 发表,测试对象为 Chronos-Bolt 与 TimesFM 2.5,结论基于上述两个模型在指定稀疏度下的实验。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.LG
    Chronos-Bolt 与 TimesFM 2.5 能否跳过 Transformer 块?时间序列基础模型的结构化块跳过研究

    研究测试了在推理时移除整个 Transformer 块对 Chronos-Bolt 和 TimesFM 2.5 两个预训练时间序列基础模型的影响。在中等稀疏度下,Chronos-Bolt 保留 7/11 候选块、TimesFM 保留 16/20 块时,预测质量变化很小,A100 batch-1 延迟中位数分别降低 11.2% 和 13.4%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。