跳到正文
arXiv cs.LG· Hyesung Jeon, Hyeongju Ha, Jae-Joon Kim·· 9 小时前AI 评分27

PReCache:面向多 LoRA 智能体的免训练 KV cache 共享框架

PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction

AI 导读

PReCache 是一个免训练的 KV cache 共享框架,通过 PreLRShared 和 ReBaseShared 两种设计共享基于预训练权重计算的 base cache,并预计算紧凑的智能体专属低秩(LR)cache。

来源:arXiv cs.LG · arxiv.org