跳到正文
arXiv cs.AI· Xinyang Liao, Lingyu Li, Kaicheng Shen, Yang Yao, Na Lu, Yan Teng, Xia Hu·· 8 小时前AI 评分31

CompanionSafe:从多轮安全评估到 AI 伴侣护栏

CompanionSafe: From Multi-turn Safety Evaluation to Guardrails for AI Companions

AI 导读

研究团队提出 AI 伴侣安全框架 CompanionSafe,由多轮评估组件 CompanionEval 与护栏组件 CompanionGuard 组成。CompanionEval 基于多样人设、匹配伴侣角色与对话场景构建 1,300 个关系化设定,覆盖四个轮次层级。结果显示,即便是强 LLM 和现有 guard 模型也难以抵御伴侣特有的关系性危害,闭源与开源模型在交互变长时安全风险均上升。

来源:arXiv cs.AI · arxiv.org