arXiv cs.AI· Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu·· 9 小时前AI 评分24
OxyGen：面向多任务并行下 VLA 推理的统一 KV Cache 管理
OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism
AI 导读
OxyGen 提出统一 KV Cache 管理，将 KV Cache 视为跨任务、跨控制周期共享的一等资源，通过跨任务 KV 共享消除共享观测的冗余 prefill，并用跨帧连续批处理推进未完成的语言请求。
来源：arXiv cs.AI · arxiv.org