arXiv cs.CL· Hanzuo Liu, Chunyu Liu, Chaofan Lin, Alex Lamb, Mingyu Gao·· 4 小时前AI 评分25
EncBank:把 LLM 下层当作可复用文档编码器,跨查询紧凑缓存
Cache the Encoder Within:Compact, Reusable Memory across LLM Queries
AI 导读
EncBank 将预训练 LLM 的下层作为可复用文档编码器,紧凑存储其输出供上层适配读取器使用,其自蒸馏后缀适配器在每个主干内跨存储精度共享,无需针对量化单独重训练。
来源:arXiv cs.CL · arxiv.org