跳到正文
arXiv cs.CL· Ding Wu, Ye Zhang, Haoyu Wang, Tianci Liu·· 1 天前AI 评分22

FOVEATED:用聚焦视图提升非结构化知识编辑中的原子事实召回

Improving Atomic-Fact Recall via Focused Views in Unstructured Knowledge Editing

AI 导读

针对非结构化知识编辑中"上下文依赖"导致的原子事实召回失败问题,研究者提出即插即用框架 FOVEATED,通过随机偏移前文上下文 key 的 RoPE 位置构造聚焦视图,编辑时施加扰动、推理时移除,保持模型原生位置编码不变。该方法在五种知识编辑器、两个 LLM 主干和三个基准上均取得一致提升,并理论分析了其如何抵消上下文引起的难度低估。

来源:arXiv cs.CL · arxiv.org