arXiv cs.LG· Javad Mirzaei, Jeebak Mitra·· 7 小时前AI 评分24
通过并行化扩展 LLM 推理：吞吐量与延迟的权衡
Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
AI 导读
研究提出一套系统框架，用 TTFT-ITL 可行集与 Pareto 前沿刻画 LLM 推理的并行化操作区域，揭示工作负载从偏重 decode 转向偏重 prefill 时，配置会从 TP 主导过渡到 PP 主导。
来源：arXiv cs.LG · arxiv.org