跳到正文
arXiv cs.CL· Andrej Leban, Theo Saarinen, Yuekai Sun·· 5 小时前AI 评分27

CausalDS:面向数据科学智能体的因果推理基准

CausalDS: Benchmarking Causal Reasoning in Data-Science Agents

AI 导读

研究者推出 CausalDS,一个评估数据科学智能体因果推理能力的基准,每个实例由采样的结构因果模型(SCM)、生成的观测数据和基于真实领域的合成自然语言故事构成。任务覆盖 Pearl 因果阶梯全部三层,多数任务含数据科学编码环节,并直接测试模型对图不可识别目标是否弃答。由于生成器完全合成,基准的组成、难度和规模均可参数化,可随时抽取全新考题。

来源:arXiv cs.CL · arxiv.org