研究:扩散模型长序列推理能效约为自回归两倍
热点事件持续更新
研究:扩散模型长序列推理能效约为自回归两倍
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
一项能耗基准测试对比了扩散模型(LLaDA-8B、Dream-7B)与自回归模型(Llama-3.1-8B、Qwen-2.5-7B)的推理能效。在 200–600 token 的长序列下,扩散模型达到 2.5–2.7 J/token,约为带 KV-cache 的自回归模型(5.3–5.7 J/token)的 2 倍能效。 测试还显示,KV-cache 在长序列下为自回归模型降低 50–70% 能耗。该结果由论文作者 Boris Ruf 与 Marcin Detyniecki 发表。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
离散扩散模型与自回归语言模型的能耗对比分析报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.LG离散扩散模型与自回归语言模型的能耗对比分析
一项能耗基准测试对比了扩散模型(LLaDA-8B、Dream-7B)与自回归模型(Llama-3.1-8B、Qwen-2.5-7B)的推理能效。在 200–600 token 的长序列下,扩散模型达到 2.5–2.7 J/token,约为带 KV-cache 的自回归模型(5.3–5.7 J/token)的 2 倍能效;KV-cache 在长序列下为自回归模型降低 50–70% 能耗。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。