研究提出跨关系共享的上下文纠缠干预方法

一项 arXiv 研究提出，语言模型的有害上下文跟随（上下文夹带）不宜靠寻找孤立的关系特定回路来缓解，而应通过异构攻击提示词定位可复用的干预目标。作者 Jinghan Zheng、Jiajun Shi 称，这些干预效果受语义关系结构影响。 研究用覆盖 19 个词汇-语义子类型的 factual-distractor 关系补全提示词，定位到消融后可减少上下文夹带的注意力头，并测试其在相同关系、语义家族和混合关系分布间的迁移。结果显示，同家族迁移优于跨家族迁移；移除全局共享头后家族残差减弱，而子类型特定搜索反复重新发现许多全局头。 干净补全与上下文使用探针表明，这种共享干预能减少有害复制，同时保留正常关系补全和简单上下文能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。