arXiv cs.CL· Saisab Sadhu, Shreeyans Arora, Pratinav Seth·· 3 小时前AI 评分36
法律链式推理的忠实性审计：模型引用法条却未必依据法条
Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness
AI 导读
研究对七个开放权重模型（8B-70B）在四个法律推理基准上做反事实审计，固定案件事实、替换所引法律依据后发现：模型在 66.7%-100% 的生成中能正确点名法律依据，但判决随依据改变的比例仅 0.0%-21.7%（CaseHOLD）、30.0%-76.7%（ECHR 和 SCOTUS）、43.3%-50.0%（ContractNLI）。
来源：arXiv cs.CL · arxiv.org