arXiv cs.AI· Zhixu Du, Weijia Han, Hai Helen Li, Yiran Chen·· 1 天前AI 评分29
一个 token 需要多少算力?用 Mixture-of-Agents 测量充分逐 token 计算量
What Does a Token Cost? A Mixture-of-Agents Measurement of Sufficient Per-Token Compute
AI 导读
研究用 Mixture-of-Agents(MoA)方法测量单个 token 实际所需的计算量:由 Qwen、OLMo、R1-distilled 三个模型族共十五个不同规模模型逐 token 复现参考序列,以最小成功模型的推理成本作为该 token 的充分算力。
来源:arXiv cs.AI · arxiv.org