arXiv cs.AI· Rui Tang, Hongqiu Wang·· 8 小时前AI 评分29
MedHarnessBench:面向医疗智能体评估的统一基准
MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation
AI 导读
研究者提出 Medical Harness Protocol 与 MedHarnessBench,用 342 个可执行任务、覆盖 FHIR/EHR 操作等场景,从七个医疗流程维度独立评估医疗智能体。在超过 16,000 次受控任务执行中,MedHarness 在终端任务成功率、中间子任务完成度和医疗流程质量上均有提升,并能揭示仅看终端结果无法发现的失败。
来源:arXiv cs.AI · arxiv.org