EncBank:可复用文档编码缓存方法提出
热点事件持续更新
EncBank:可复用文档编码缓存方法提出
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Hanzuo Liu等作者提出EncBank,将预训练大语言模型的下层作为可复用的文档编码器,把其输出紧凑存储,供经过适配的上层读取器使用。 该方法采用自蒸馏后缀适配器,在每个主干模型内跨存储精度共享,因此无需针对量化单独重新训练。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
EncBank:把 LLM 下层当作可复用文档编码器,跨查询紧凑缓存报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv cs.CLEncBank:把 LLM 下层当作可复用文档编码器,跨查询紧凑缓存
EncBank 将预训练 LLM 的下层作为可复用文档编码器,紧凑存储其输出供上层适配读取器使用,其自蒸馏后缀适配器在每个主干内跨存储精度共享,无需针对量化单独重训练。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。