arXiv cs.AI· Ali Satvaty, Narjes Sharafi, Jirui Qi, Suzan Verberne, Fatih Turkmen·· 3 小时前AI 评分29
记忆是否上下文敏感？LLM 基于前缀的提取研究
Is Memorization Context-Sensitive? Prefix-Based Extraction Beyond Isolated Prefixes
AI 导读
研究通过配对测量发现，上下文不会简单消除 LLM 的记忆提取，可提取记忆由上下文鲁棒核心和上下文敏感边界组成。在三个开源指令微调模型上，无上下文可提取的样本在检索上下文下大多仍可提取，且前缀越长越明显。上下文主要影响提取阈值附近的边缘样本，既抑制部分暴露，也带来仅前缀评估遗漏的新暴露，这修正了 RAG 降低记忆风险的观点。
来源：arXiv cs.AI · arxiv.org