arXiv cs.LG· Abbas Raza Ali, Muhammad Ajmal Siddiqui, Moona Zahid·· 9 小时前AI 评分31
面向企业工作负载的生成式 AI 推理算力评估框架
Evaluating Inference Compute for Generative AI: A Framework for Enterprise Workloads
AI 导读
针对 LLM 从单轮补全转向智能体轨迹后推理硬件经济性的变化，论文用 roofline 分析和闭式 episode 延迟模型指出，智能体轨迹顺序依赖、有效 batch 为 1。
来源：arXiv cs.LG · arxiv.org