arXiv cs.CL· Zahraa Al Sahili, Ioannis Patras, Matthew Purver·· 5 小时前AI 评分26
用推理引导翻译扩展多语言安全与推理评测
Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation
AI 导读
研究者提出推理引导翻译框架,用于构建多语言评测,将翻译策略选择与大规模生成分离,并结合任务感知验证、定向修复与独立质量筛查。基于该框架构建的评测集覆盖 7 个安全、对话与数学推理资源、11 种语言,需修复的两个子集达到 99.94% 的目标条目-语言对覆盖率。对开源 LLM 的评测显示存在明显的语言相关脆弱性,包括拒绝行为不一致和低资源语言推理能力显著下降。
来源:arXiv cs.CL · arxiv.org