跳到正文
热点事件持续更新

研究:扩散模型长序列推理能效约为自回归两倍

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

一项能耗基准测试对比了扩散模型(LLaDA-8B、Dream-7B)与自回归模型(Llama-3.1-8B、Qwen-2.5-7B)的推理能效。在 200–600 token 的长序列下,扩散模型达到 2.5–2.7 J/token,约为带 KV-cache 的自回归模型(5.3–5.7 J/token)的 2 倍能效。 测试还显示,KV-cache 在长序列下为自回归模型降低 50–70% 能耗。该结果由论文作者 Boris Ruf 与 Marcin Detyniecki 发表。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.LG
    离散扩散模型与自回归语言模型的能耗对比分析

    一项能耗基准测试对比了扩散模型(LLaDA-8B、Dream-7B)与自回归模型(Llama-3.1-8B、Qwen-2.5-7B)的推理能效。在 200–600 token 的长序列下,扩散模型达到 2.5–2.7 J/token,约为带 KV-cache 的自回归模型(5.3–5.7 J/token)的 2 倍能效;KV-cache 在长序列下为自回归模型降低 50–70% 能耗。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。