arXiv cs.CL· Changyi Li, Jiayi Wang, Xudong Pan, Geng Hong, Min Yang·· 2 小时前AI 评分35
ReasoningShield：面向大型推理模型推理轨迹的安全检测基准与轻量模型
ReasoningShield: Safety Detection over Reasoning Traces of Large Reasoning Models
AI 导读
针对大型推理模型（LRM）的思维链（CoT）推理轨迹中可能隐藏有害内容的问题，研究者发布 ReasoningShield 基准与轻量审核模型。该基准含 9.2K 条标注（Query, CoT）对，覆盖 10 类风险、3 个安全等级和 8 个 LRM。基于两阶段训练策略的 1B/3B 模型在本基准上达到 91.8% F1，分别超出 LlamaGuard-4 35.6% 和 GPT-4o 15.8%。
来源：arXiv cs.CL · arxiv.org