arXiv cs.AI· Huihao Jing, Wenbin Hu, Shaojin Chen, Haochen Shi, Haoyu Huang, Sirui Zhang, Yuxuan Liu, Zhongwei Xie, Haoran Li·· 8 小时前AI 评分22
RadixFlow：消除前缀缓存混合 LLM 服务中的执行气泡
RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
AI 导读
RadixFlow 通过将前缀匹配与状态就绪解耦，把全局扫描屏障变为局部等待，解决混合 LLM 服务中因 head-of-line blocking 产生的执行气泡问题。在五个混合模型上，该方法将平均延迟降低 3% 至 24%，worker 轮次减少 11% 至 44%，且复用率几乎不变。在更大的 Qwen3.5 模型上，消融实验显示大部分收益来自遍历优化，而该优化在全注意力对照模型上增益很小。
来源：arXiv cs.AI · arxiv.org