arXiv cs.CL· Mingyuan Li, Guangsheng Yu, Xu Wang, Shaoxiong Ji·· 5 小时前AI 评分21
冻结记忆不够：重新思考外部记忆作为提取方式
Frozen Memory Is Not Enough: Rethinking External Memory as Extraction
AI 导读
研究通过跨模型冻结记忆提取发现，在源模型上训练的记忆表冻结后接入不同目标模型时，只有配合与目标模型对齐的 reader 才能发挥作用。在下游问答任务中，双层四分支 reader 将同模型与跨模型复用的差距几乎弥合，受控评测下平均得分 38.8。当提供方 reader 与目标接口直接兼容时，冻结产物无需目标侧训练即可提供可观效用，可选的 reader 适配还能进一步提升。
来源：arXiv cs.CL · arxiv.org