arXiv cs.CL· Jungsoo Park, Ethan Mendes, Gabriel Stanovsky, Alan Ritter·· 5 小时前AI 评分23
EVALCAST：从任务描述预测 LLM Benchmark 分数的前瞻性评估
Anticipatory Evaluation of Language Models: Predicting LLM Benchmark Scores from Descriptions
AI 导读
研究者提出"前瞻性评估"（anticipatory evaluation）设定，并发布 EVALCAST 资源，包含来自 1,519 篇 arXiv 论文的 2,290 组描述-性能配对，其中测试集论文发表于模型知识截止之后。实验显示，前沿 LLM 在绝对性能回归预测上仍具挑战，但在匹配设置下的成对预测可恢复基准的相对难度排序；截止后与流式评估表现相当，表明该信号并非仅来自已报道结果。
来源：arXiv cs.CL · arxiv.org