研究:时间序列模型可跳过部分Transformer块
热点事件持续更新
研究:时间序列模型可跳过部分Transformer块
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
一项研究测试了在推理时移除整个 Transformer 块对两个预训练时间序列基础模型的影响。结果显示,在中等稀疏度下,Chronos-Bolt 保留 11 个候选块中的 7 个、TimesFM 2.5 保留 20 个中的 16 个时,预测质量变化很小,而 A100 单批次(batch-1)延迟中位数分别降低 11.2% 和 13.4%。 该研究由 Max Bourgeat 发表,测试对象为 Chronos-Bolt 与 TimesFM 2.5,结论基于上述两个模型在指定稀疏度下的实验。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
Chronos-Bolt 与 TimesFM 2.5 能否跳过 Transformer 块?时间序列基础模型的结构化块跳过研究报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv cs.LGChronos-Bolt 与 TimesFM 2.5 能否跳过 Transformer 块?时间序列基础模型的结构化块跳过研究
研究测试了在推理时移除整个 Transformer 块对 Chronos-Bolt 和 TimesFM 2.5 两个预训练时间序列基础模型的影响。在中等稀疏度下,Chronos-Bolt 保留 7/11 候选块、TimesFM 保留 16/20 块时,预测质量变化很小,A100 batch-1 延迟中位数分别降低 11.2% 和 13.4%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。