arXiv cs.LG· Liam Davis, Romain Emil-Popescu, Suman Jana·· 7 小时前AI 评分24
用语义重建游戏评估 LLM 越狱：仅更换评判模型即可让 ASR 相差 82 个百分点
Did the LLM Answer the Question? A Semantic Reconstruction Game for Jailbreak Evaluation
AI 导读
针对 LLM 越狱攻击的 ASR 评估会因评判模型不同而相差最多 82 个百分点，且易把拒答或仅话题相关的回复误判为攻击成功。为此研究者提出语义重建游戏：无需训练，让 LLM 仅根据回复内容重建其实际回答的请求，再与相似诱饵请求比对以判断是否匹配原请求，不匹配时可弃权。在三个现成 LLM 评判模型上，该方法对人类标注的平均误差最低，并降低了 ASR 报告的波动，优先避免假阳性。
来源：arXiv cs.LG · arxiv.org