arXiv cs.AI· Hardi Ashishbhai Desai, Balaji N K, Sourav Kanti Addya·· 8 小时前AI 评分24
面向 Serverless LLM 推理的稳定 Token 级调度框架 TWP
Stable Token-level Scheduling for Serverless LLM Inference
AI 导读
研究者提出 Token Window Pacing（TWP），一种闭环调度框架，利用 ITL、队列深度和工作负载特征的运行时反馈，在 token 级而非 batch 级调节请求准入，并结合 chunk-based prefill 减少新请求对解码的干扰。
来源：arXiv cs.AI · arxiv.org