跳到正文
arXiv cs.CL· Hanzuo Liu, Chunyu Liu, Chaofan Lin, Alex Lamb, Mingyu Gao·· 4 小时前AI 评分25

EncBank:把 LLM 下层当作可复用文档编码器,跨查询紧凑缓存

Cache the Encoder Within:Compact, Reusable Memory across LLM Queries

AI 导读

EncBank 将预训练 LLM 的下层作为可复用文档编码器,紧凑存储其输出供上层适配读取器使用,其自蒸馏后缀适配器在每个主干内跨存储精度共享,无需针对量化单独重训练。

来源:arXiv cs.CL · arxiv.org