arXiv cs.CL· Sangyeon Yoon, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No, Sunkyoung Kim·· 5 小时前AI 评分29
BenchPreS：评估持久记忆 LLM 的上下文感知个性化偏好选择性
BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
AI 导读
研究者提出 BenchPreS 基准，用误用率（MR）和恰当应用率（AAR）两项指标，评估持久记忆 LLM 能否在不同沟通场景中恰当应用或抑制用户偏好。结果显示，即便前沿 LLM 也难以做到上下文敏感，偏好依从性越强的模型过度应用率越高，推理能力与基于提示词的防御均无法完全解决该问题。
来源：arXiv cs.CL · arxiv.org