arXiv cs.LG· Vakul Raghavan, Utkarsh Grover, Mingyang Mao, Chengwen Wang, Xiaomin Lin·· 7 小时前AI 评分27
Double-Take：在双向记忆中提升长上下文容量、绑定与选择性
Double-Take: Improving Capacity, Binding, and Selectivity In Long-Context Within Bidirectional Memory
AI 导读
针对大块测试时训练（TTT）中单步写入干扰限制容量、自关联写入无法形成跨位置绑定的两个缺陷，研究者提出 Double-Take（DT），通过多步非固定更新、跨位置混合和双向变化敏感写入实现选择性保留。仅用 32kb 基因组上下文训练，DT 在 131kb 处达到 0.927 AUROC，近 1Mb 处为 0.856，并可从人类零样本迁移到小鼠。
来源：arXiv cs.LG · arxiv.org