arXiv cs.LG· Boris Ruf, Marcin Detyniecki·· 7 小时前AI 评分24
离散扩散模型与自回归语言模型的能耗对比分析
Energy Consumption Analysis of Discrete Diffusion and Autoregressive Language Models
AI 导读
一项能耗基准测试对比了扩散模型（LLaDA-8B、Dream-7B）与自回归模型（Llama-3.1-8B、Qwen-2.5-7B）的推理能效。在 200–600 token 的长序列下，扩散模型达到 2.5–2.7 J/token，约为带 KV-cache 的自回归模型（5.3–5.7 J/token）的 2 倍能效；KV-cache 在长序列下为自回归模型降低 50–70% 能耗。
来源：arXiv cs.LG · arxiv.org