研究者提出TWP无服务器LLM调度框架

研究者 Hardi Ashishbhai Desai 等人提出 Token Window Pacing（TWP），一种面向无服务器 LLM 推理的闭环调度框架。该框架利用 ITL、队列深度和工作负载特征的运行时反馈，在 token 级而非 batch 级调节请求准入，并结合 chunk-based prefill 减少新请求对解码的干扰。 上述内容来自论文摘要，作者称 TWP 旨在实现稳定的 token 级调度，尚未见其在实际部署中的效果验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。