arXiv cs.AI· Ruoyu Qin, Zheming Li, Weiran He, Mingxing Zhang, Yongwei Wu, Weimin Zheng, Xinran Xu·· 3 小时前AI 评分42
Mooncake：面向 LLM 服务的 KVCache 中心化分离式架构
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
AI 导读
Moonshot AI 为 Kimi 打造的 LLM 服务平台 Mooncake 采用以 KVCache 为中心的分离式架构，将预填充与解码集群分离，并利用 GPU 集群中闲置的 CPU、DRAM 和 SSD 资源构建分布式 KVCache。
来源：arXiv cs.AI · arxiv.org