arXiv cs.LG· Daijin Hu·· 7 小时前AI 评分27
JointServe：在显存受限 GPU 上服务多模型智能体
JointServe: Serving Multi-Model Agents on Memory-Constrained GPUs
AI 导读
JointServe 是一个面向多模型智能体的服务系统，将权重分片与 KV 块视为竞争统一内存预算的驻留对象，利用智能体工作负载的有向调用、间隙执行和双状态驻留特性提前准备模型。
来源：arXiv cs.LG · arxiv.org