论文提出企业级生成式AI推理算力评估框架

一篇 arXiv 论文针对大语言模型从单轮补全转向智能体轨迹后推理硬件经济性的变化，提出四层推理算力评估框架与六轴基准协议。作者 Abbas Raza Ali 等称，该框架覆盖芯片、服务系统、智能体 episode 和企业四个层面，指标基于智能体 SLO 下的有效吞吐与每次成功 episode 的成本。 论文用 roofline 分析和闭式 episode 延迟模型指出，智能体轨迹存在顺序依赖，有效 batch 为 1。框架还包括六类任务族上的六轴基准协议、配对自助法统计设计、面向厂商自跑基准的认证协议，以及带明确盈亏平衡条件的 TCO、可用性和采用时机模型。

AI 根据报道生成 · 8 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。