arXiv cs.AI· Kartik Ramesh, Kaidi Fu, Zihan Zheng, Jiahuan Yu, Fabio Oliveira, Carlos Costa, Minjia Zhang·· 9 小时前AI 评分26
FluidPD：面向 SLO 的预填充-解码分离 LLM 服务原地弹性方案
FluidPD: In-Place Elasticity for SLO-Aware Prefill-Decode Disaggregated LLM Serving
AI 导读
FluidPD 是一个面向 SLO 的 P/D 分离 LLM 服务系统，通过 FluidToken 将部分预填充计算卸载到空闲的解码 worker 以应对瞬时失衡，并用 FluidRole 原地切换运行中 worker 的预填充/解码角色以应对持续失衡，避免模型重载与引擎重启。
来源：arXiv cs.AI · arxiv.org