arXiv cs.AI· Ram Vikas Mishra, Shashank Aggarwal, Jahnavi Kumar, Amit Awekar·· 8 小时前AI 评分29
研究：用部分生成将提示词危害性与交互安全性分离
Separating Prompt Harmfulness from Interaction Safety via Partial Generation
AI 导读
一项研究提出在生成过程中用部分输出判断 LLM 交互安全性，而非仅凭提示词直接拒答。团队基于 Llama、Gemma、Qwen 三个家族七个开源模型构建了 41,944 条提示词-回复对，发现提示词危害性与交互安全性标签仅 50.46% 一致（Cohen's κ = 0.06），仅 3.5% 的有害提示词会让全部七个模型都产生有害回复。
来源：arXiv cs.AI · arxiv.org