arXiv cs.CL· Yibin Lou, Yi Hu, Jianhui Chen, Chenpeng Wang, Muhan Zhang, Liangming Pan·· 5 小时前AI 评分36
LLM 该信任哪种知识？研究揭示跨知识冲突的通用引导方向
Which Knowledge Should LLMs Trust? Uncovering a Generalizable Steering Direction Across Knowledge Conflicts
AI 导读
研究发现，LLM 在内部参数知识与外部上下文知识之间的选择可由残差流中的单一方向线性表示并加以控制。该方向能跨上下文格式、知识类别和数据集泛化，并可迁移到 RAG、记忆和规则遵循三类任务，在四个模型族上引导后模型对提示词所提供信息的利用均优于未引导版本。
来源：arXiv cs.CL · arxiv.org