arXiv cs.CL· Amirhossein Vahdat, Thierry Badard, Luc Lamontagne·· 2 小时前AI 评分22
GeoFitBench-LLM：评估大语言模型地理空间数据需求获取能力的基准
GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks
AI 导读
GeoFitBench-LLM 是一个评估 LLM 能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件的基准，围绕时空关系推理和语义锚定两个维度构建，真值需求以固定且与提供商无关的 schema 编码。在最小提示下对七个模型的实验中，GPT-5.4 Thinking 表现最佳，在 66.67% 的基准请求中完整识别出全部资源；随着推理需求增加，准确的适用性规格说明仍更困难。
来源：arXiv cs.CL · arxiv.org