arXiv cs.AI· Jingpo Xu, Paul Joe Maliakel, Ivona Brandic, Shashikant Ilager·· 9 小时前AI 评分22
DySCo：面向边缘-云协同 LLM 推理的动态分片与深度同步批处理
DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching
AI 导读
DySCo 是一个边缘-云协同 LLM 推理运行时，通过保持 KV 缓存本地化并引入 dyForward 层范围执行器，让边缘设备无需重载权重即可运行可配置的连续层范围。其深度同步批处理（DSB）将异构请求推进到最深切分点并批处理公共后缀，在平均并发为 8 时吞吐量较 FIFO 提升 275%、较精确匹配批处理提升 48%、较轮询交错提升 79%，同时降低平均每会话延迟。
来源：arXiv cs.AI · arxiv.org