RadixFlow 提出前缀缓存混合LLM调度方法
热点事件持续更新
RadixFlow 提出前缀缓存混合LLM调度方法
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Huihao Jing 等作者发布论文，提出名为 RadixFlow 的前缀缓存混合 LLM 服务调度方法。该方法将前缀匹配与状态就绪解耦，把全局扫描屏障改为局部等待，以解决混合 LLM 服务中因队头阻塞产生的执行气泡问题。 论文称，在五个混合模型上，RadixFlow 将平均延迟降低 3% 至 24%，worker 轮次减少 11% 至 44%，复用率几乎不变。在更大的 Qwen3.5 模型上，消融实验显示大部分收益来自遍历优化，而该优化在全注意力对照模型上增益很小。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
RadixFlow：消除前缀缓存混合 LLM 服务中的执行气泡报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AIRadixFlow：消除前缀缓存混合 LLM 服务中的执行气泡
RadixFlow 通过将前缀匹配与状态就绪解耦，把全局扫描屏障变为局部等待，解决混合 LLM 服务中因 head-of-line blocking 产生的执行气泡问题。在五个混合模型上，该方法将平均延迟降低 3% 至 24%，worker 轮次减少 11% 至 44%，且复用率几乎不变。在更大的 Qwen3.5 模型上，消融实验显示大部分收益来自遍历优化，而该优化在全注意力对照模型上增益很小。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。