Mooncake 服务架构论文更新至 v5
热点事件持续更新
Mooncake 服务架构论文更新至 v5
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
Moonshot AI 为 Kimi 打造的 LLM 服务平台 Mooncake 采用以 KVCache 为中心的分离式架构，将预填充与解码集群分离，并利用 GPU 集群中闲置的 CPU、DRAM 和 SSD 资源构建分布式 KVCache。
摘自 arXiv cs.AI
最新进展10月9日 12:00
Mooncake：面向 LLM 服务的 KVCache 中心化分离式架构报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv cs.AIMooncake：面向 LLM 服务的 KVCache 中心化分离式架构
Moonshot AI 为 Kimi 打造的 LLM 服务平台 Mooncake 采用以 KVCache 为中心的分离式架构，将预填充与解码集群分离，并利用 GPU 集群中闲置的 CPU、DRAM 和 SSD 资源构建分布式 KVCache。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。