arXiv cs.LG· Yudi Zhang, Mingyu Cao, Lu Yin, Mykola Pechenizkiy, Shiwei Liu·· 3 小时前AI 评分27
DataSense-Bench：迈向 AI 科学家第一步的数据感知基准
DataSense-Bench: The First Step Toward an AI Scientist
AI 导读
研究者推出 DataSense-Bench，用数据选择与性能预测任务检验前沿 AI 模型是否具备"数据感"。智能体需为小 LLM 挑选并排序微调训练子集，可查看数据、写代码分析、跑前向推理，但不能训练模型或接触评测任务。实验显示选择收益相对随机选择有限，智能体无法可靠排序所选子集，Astra 在三次工具使用运行中均找出最佳组，但在三次终端任务中仅一次成功。
来源：arXiv cs.LG · arxiv.org