arXiv cs.CL· Arvind Raghavan, Inwoo Hwang, Shreyas Havaldar, Kai-Zhan Lee, Aurghya Maiti, Yushu Pan, Jeffrey Wu, Mingxuan Li, Elias Bareinboim·· 2 小时前AI 评分31
CoBe：对话式反事实文本编辑基准发布
CoBe: A Benchmark For Conversational Counterfactual Text Editing
AI 导读
研究者推出 CoBe（Counterfactual Benchmark），用于测试模型在对话中零样本反事实编辑文本场景的能力，包含覆盖医疗、科学与工程、商业及日常场景的 2000 道问题。前沿模型平均得分仅 58.05%，且模型常退化为关联性生成而非保留原场景因果结构，性能也未随模型规模或输出 token 长度稳定提升。
来源：arXiv cs.CL · arxiv.org