跳到正文
热点事件持续更新

GeoFitBench-LLM地理空间数据需求基准发布

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Amirhossein Vahdat、Thierry Badard 和 Luc Lamontagne 提出并发布 GeoFitBench-LLM,用于评估大语言模型能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件。该基准围绕时空关系推理和语义锚定两个维度构建,真值需求以固定且与提供商无关的 schema 编码。 在最小提示下对七个模型的实验中,GPT-5.4 Thinking 表现最佳,在 66.67% 的基准请求中完整识别出全部资源;随着推理需求增加,准确的适用性规格说明仍更困难。

AI 根据报道生成 · 59 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.CL
    GeoFitBench-LLM:评估大语言模型地理空间数据需求获取能力的基准

    GeoFitBench-LLM 是一个评估 LLM 能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件的基准,围绕时空关系推理和语义锚定两个维度构建,真值需求以固定且与提供商无关的 schema 编码。在最小提示下对七个模型的实验中,GPT-5.4 Thinking 表现最佳,在 66.67% 的基准请求中完整识别出全部资源;随着推理需求增加,准确的适用性规格说明仍更困难。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。