研究提出三项临床LLM忠实性指标

一项 arXiv 研究提出 Explanation Stability Index（ESI）、Causal Faithfulness Score（CFS）和 Perturbation Stability Score（PSS）三项指标，用于衡量临床决策支持中 LLM 解释的忠实性缺口。ESI 测重复提问下推理的一致性，CFS 通过概念消融检验被引概念是否驱动预测，PSS 测对语义保持改写的稳健性。 在 150 道 MedQA-USMLE 题、6 个模型共 900 次观测中，仅 23.3% 被引用的临床概念是因果必要的。正确答案的 CFS 反而低于错误答案（0.212 对 0.398），答案一致性与 CFS 负相关（Spearman r = -0.466），模型间答案一致时仅共享 8.8% 的推理概念。作者称，这些结果表明准确率、一致性与共识可能误导对临床 LLM 的评估。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。