JointServe：统一内存预算下的多模型Agent服务

Daijin Hu 等研究者发布论文提出 JointServe，一个面向显存受限 GPU 的多模型智能体服务系统。其核心做法是把权重分片和 KV 块都当作竞争同一份统一内存预算的驻留对象，而不是分开管理。 该系统利用智能体工作负载的三个特性——有向调用、间隙执行和双状态驻留——提前准备模型。论文称，这些特性使系统能在显存受限条件下服务多模型智能体。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。