arXiv cs.AI· Zeyu Yang, Wes Armour·· 8 小时前AI 评分30
开放权重 LLM 推理能效实测：86 个模型在 7 项基准与 6 类硬件上的能耗差异
Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware
AI 导读
研究直接测量了 86 个开放权重模型检查点在 7 项基准和 6 类硬件（从消费级 GPU 到八卡服务器）上的推理能耗，发现能力相近的模型能效差异巨大，多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量，差距最高达 27 倍。
来源：arXiv cs.AI · arxiv.org