arXiv cs.CL· Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu, Ningyu Zhang·· 5 小时前AI 评分37
Cortex：将上下文整合进参数化记忆
Cortex: Consolidating Context into Parametric Memory
AI 导读
受生物系统记忆巩固启发，研究者提出 Memory Consolidation（MC）目标并提出 Cortex，通过生成前瞻性查询、将上下文条件输出蒸馏为可合并的低秩或结构化前馈网络更新，把上下文带来的性能增益内化到模型参数中。
来源：arXiv cs.CL · arxiv.org