GeoNatureAgent：工具型智能体上线前评测框架与基准

GeoNatureAgent（GNA）：面向地理空间与环境任务的工具型智能体上线前评测框架与基准

六位作者的姓名、电子邮箱与所属机构依次如下。Gabriel Diaz-Ireland，通信作者，电子邮箱 gdiazir1@jhu.edu，所属机构为西班牙阿维拉的阿维拉天主教大学（Universidad Católica de Ávila，UCAV），以及美国马里兰州巴尔的摩的约翰斯·霍普金斯大学（Johns Hopkins University）。Diego Prieto-Herráez，电子邮箱 diego.prieto@ucavila.es，所属机构为西班牙阿维拉的阿维拉天主教大学（UCAV）。Mario García Peces，电子邮箱 mario.garcia.peces@gmail.com，所属机构为西班牙马德里的独立研究者。Javier Velázquez，电子邮箱 javier.velazquez@ucavila.es，所属机构为西班牙阿维拉的阿维拉天主教大学（UCAV）。Benjamin Zaitchik，电子邮箱 zaitchik@jhu.edu，所属机构为美国马里兰州巴尔的摩约翰斯·霍普金斯大学地球与行星科学系。Devika Jain，电子邮箱 kakkar@fas.harvard.edu，所属机构为美国马萨诸塞州剑桥哈佛大学地理分析中心（Center for Geographic Analysis）。

注：这篇研讨会论文大幅扩展了我们在 SIGSPATIAL 2026 上关于 GeoNatureAgent 基准的海报（Diaz-Ireland et al., 2026c）；第 1 节说明新增材料。

###### 摘要。

在把使用工具的大语言模型智能体部署到环境与地理空间工作流之前，团队需要证据，证明智能体面对真实应用程序接口时能够可靠地选出正确操作；然而，目前并不存在可复用、可自托管的基底来做这种上线前评测。 我们提出 GeoNatureAgent（GNA），一个面向工具型智能体上线前评测的框架。GNA 把一套固定的十六工具地理空间接口（十二项主要操作和四项辅助操作）发布为模型上下文协议（Model Context Protocol，MCP）服务器，使受测智能体成为唯一变量：任何兼容 MCP 的客户端都可以作为即插即用的受试对象，对照同一工具层、同一任务套件和同一确定性评分器打分。它的旗舰实例是一个 103 项任务的基准——跨 18 个类别的 93 项任务主套件，加上十项比较扩展——覆盖工具选择、多轮对话、空间推理、跨指标综合、错误处理、多语言理解以及任务拒绝等能力，并对照一个开放、可自托管的地理空间应用程序接口来评测；该接口在西班牙和葡萄牙提供三项环境指标。 我们在 Vertex AI、OpenRouter 和 Anthropic 平台上评测九个经过基准测试的大语言模型，每个模型使用三个温度为 1.0 的种子，并把能力与单案成本作为相互正交的轴来报告。 结果表现为三点：（1）Claude Sonnet 4 在合并后的 103 项任务上取得最高能力，为 $61.7\%\pm 0.7\%$（主套件上为 $60.8\%\pm 0.8\%$），DeepSeek V3.2 以 $57.9\%\pm 3.9\%$ 紧随其后，其余模型都没有超过 $53\%$；（2）成本–准确率帕累托前沿大多由开放权重模型占据，DeepSeek V3.2 以 11.3 倍更低的标价成本（每案 $\$0.011$）提供 Claude 能力的 $93\%$；（3）在要求端到端完成任务的严格全检查评分下，最好的模型比通用地理信息系统基准所报告的 $85$–$97\%$ 低 $24$–$36$ 个百分点，而前四名模型的逐检查部分得分（$86$–$90\%$）与之相当，因此这一差距有很大一部分反映的是评分严格程度，而不只是任务难度。 我们进一步把葡萄牙的 BigEarthNet V2 土地覆盖数据与西班牙的二氧化碳适宜性和冲沟侵蚀指标放在一起，以此展示地理与领域上的可扩展性。 GeoNatureAgent（GNA）——包括 MCP 工具服务器、评测支架、基准和可自托管的应用程序接口——已经公开提供[^1]，并按复用方式设计：换掉工具执行器和任务套件，就可以为任何地理空间领域实例化一个等价基准。

###### 关键词：

大语言模型智能体，智能体式人工智能，模型上下文协议（MCP），基准，地理人工智能（GeoAI），智能体评测，工具调用，环境分析

1. 引言

大规模环境监测需要多时相地理空间分析：检测土地覆盖变化、评估侵蚀风险、计算植被指数，并为监管合规生成统计摘要。从业者通常把大部分精力花在数据整理上，包括发现数据集、重投影坐标系，以及针对遥感应用程序接口调试代码（Zhang et al., 2024；Li and Ning, 2023）。这道专业门槛限制了那些理解环境系统、却缺少地理信息系统编程技能的领域科学家采用这些方法。

大语言模型的近期进展已经产生了把自然语言翻译成可执行地理空间操作的智能体系统：从带工具池的大语言模型（Zhang et al., 2024；Akinboyewa et al., 2025），到微调专家（Zhang et al., 2025a；Zhang et al., 2025b），再到达到 $85$–$97\%$ 准确率的多智能体系统（Luo et al., 2026；Lee et al., 2025），背后还有大量产业投资（Google Research, 2025；Planet Labs and Anthropic, 2025；Szwarcman et al., 2026）。

然而，一个关键的评测缺口仍然存在：少数公开的地理空间智能体基准针对的是通用地理信息系统任务（GeoBenchX（Krechetova and Kochedykov, 2025）、ThinkGeo（Shabbir et al., 2026）），而不是环境科学工作流；知识基准（EnviroExam（Huang et al., 2024））评测的是知识，不是智能体行为；代码生成基准（UnivEARTH（Kao et al., 2025））并不能反映生产系统所采用的结构化应用程序接口交互——大语言模型生成的 Earth Engine 代码有 $58\%$ 无法执行；GEO-Bench 与 GEO-Bench-2（Lacoste et al., 2023；Simumba et al., 2026）评测的是像素级视觉模型，不是智能体级的工具编排。

我们用 GeoNatureAgent（GNA） 填补这一缺口。这个框架把智能体评测重新表述为：把智能体接到一个固定的、基于标准的工具基底上，并对其行为做确定性评分。GNA 的贡献是：

1. 一套可复用的智能体评测基底——把固定的十六工具地理空间接口发布为模型上下文协议（MCP）服务器，配上一个 103 项任务的基准（跨 18 个类别的 93 项任务主套件，外加十项扩展）和一个确定性的八检查评分器（不用大语言模型当评判）。工具、任务和评分器固定之后，任何具备 MCP 能力的智能体都是即插即用的受试对象。这是可复用的基底，不是一次性支架。
2. 多种子、跨平台评测——系统比较九个大语言模型，覆盖闭源模型与开放权重家族。每个模型在相同基础设施上用三个温度为 1.0 的种子评测，并报告均值加减标准差；能力与单案成本作为相互正交的轴报告，而不是折叠成一个带门槛的单一分数。
3. 成本效率帕累托分析——定量刻画帕累托前沿大多由开放权重模型占据，DeepSeek V3.2 以 11.3 倍更低的标价成本提供 Claude 能力的 $93\%$。
4. 可复现的机器学习运维流水线与开放应用程序接口——一条全自动的 Cloud Build 流水线产出对话轨迹级结果，外加一个 Apache-2.0 许可、可自托管的 FastAPI 服务，使整项评测不必依赖任何私有端点就能复现。

在全部结果里，每一小节都以一条“自己来做”的说明收尾，点出能够复现该分析、并把它扩展到新模型、新任务、新指标和新区域的已提交代码路径。

##### 与先前发表的关系。

本文大幅扩展了我们在 SIGSPATIAL 2026 上的海报（Diaz-Ireland et al., 2026c），那份海报引入了这个基准。超出那篇四页先前发表的新内容包括：框架优先的表述和 MCP 工具基底（第 3 节）、九模型排行榜（新增 GPT-4o 和 Gemma-3-27B）、v6 近值扩展（第 6.5 节）、通用工具调用解析器，以及扩展后的失败分类法和跨基准定位；本文全部实证结果都是新做的或重新推导的。

2. 相关工作与定位

2.1. 地理空间人工智能智能体架构

文献呈现出四种地理空间人工智能智能体架构范式。大语言模型加工具池把通用大语言模型与可调用工具配对（GeoGPT（Zhang et al., 2024）、LLM-Geo（Li and Ning, 2023）、GIS Copilot（Akinboyewa et al., 2025））。微调专家用通用性换取专门能力：GTChain（Zhang et al., 2025a）比 GPT-4 高出 $32.5\%$ 的准确率；EnvGPT（Zhang et al., 2025b）在一亿条环境词元上微调一个 80 亿参数模型，可与 GPT-4o-mini 比肩。多智能体系统把任务拆开：GeoJSON Agents（Luo et al., 2026）用 GPT-4o 的规划者–工作者架构达到 $97\%$，对照单智能体的 $49\%$；GeoLLM-Squad（Lee et al., 2025）靠专门子智能体获得 $17\%$ 的提升。成本高效的混合体：Geo-OLM（Stamoulis and Marculescu, 2025）让 70 亿参数以下的模型以 100 倍更低的成本，做到与 GPT-4o 相差不超过 $10\%$。

2.2. 基准与评测

智能体工具使用由 GeoBenchX（Krechetova and Kochedykov, 2025）、ThinkGeo（Shabbir et al., 2026）（$486$ 项遥感任务）和 UnivEARTH（Kao et al., 2025）（Earth Engine 代码生成准确率只有 $33\%$，代码失败率为 $58\%$）来评测。GeoBenchX 是最接近的可比工作：$202$ 项任务、五个类别，经由 $24$ 个通用地理信息系统工具、用大语言模型当评判的协议来评测。关键差别在于，它的工具是作用在本地文件上的低层原语（load_data、filter_categorical、make_choropleth_map），而 GNA 的工具是对着生产级云端应用程序接口的高层领域操作（表 1）。

地图推理方面：MapEval（Dihan et al., 2025）（没有模型超过 $67\%$），MapQA（Arnold et al., 2026）（人类 $91\%$，模型低于 $50\%$）。空间推理方面：GPSBench（Truong et al., 2026），SpatiaLab（Wasi et al., 2026）（人类 $88\%$，最好的模型 $55\%$）。基础模型方面：GEO-Bench（Lacoste et al., 2023）和 GEO-Bench-2（Simumba et al., 2026）评测的是像素级分类与分割（这个模型能不能给一块卫星瓦片分类？），与 GNA 的智能体级工具编排互补（这个智能体能不能推理该调用哪些工具？）；PANGAEA（Marsocci et al., 2025）发现，基础模型并不能稳定胜过有监督基线。

2.3. 环境科学人工智能

EnvGPT（Zhang et al., 2025b）这类专门模型表明，针对环境词元做聚焦微调，可以让更小的架构与 GPT-4o-mini 这类通用模型比肩。产业方面，Google 的 Earth AI（Google Research, 2025）在地理空间问答上达到 $82\%$ 准确率（对照基线 Gemini 的 $50\%$），而扎根于 MCP 的接口在空气质量监测中达到 $4.78/5.0$ 的事实精确度（Pan and Nipu, 2025）。西班牙皇家法令 RD 214/2025（Kingdom of Spain, 2025）要求大约 $4{,}000$ 个组织报告碳足迹，这类监管要求进一步推高了对自动化地理空间分析的需求。

2.4. 定位

现有基准没有一个评测这样的环境分析智能体：对着真实地理空间应用程序接口做结构化工具调用，并带有多轮对话、多语言输入和跨指标综合。GNA 填补这一缺口；本文用第 1 节所列举的框架表述、MCP 工具基底和扩展后的实证研究，延伸我们先前的基准（Diaz-Ireland et al., 2026c）。

表 1 把 GNA 与最接近的可比基准 GeoBenchX 对照，两者都采用结构化工具调用范式。GNA 最好模型的准确率（$60.8\%$，第 6 节）明显低于 GeoBenchX 和 GeoJSON Agents 所报告的 $85$–$97\%$。可能有四个因素：（1）真实应用程序接口交互对照本地文件操作；（2）环境领域的复杂性（地理知识、数据限制、仅供显示的图层）；（3）多轮对话历史；（4）严格的二元评测。其中只有最后一项能用我们自己的数据检验，而且它解释了差距的很大一部分：在部分得分（通过检查所占比例）下，前四名模型达到 $86$–$90\%$，与别处报告的区间相当，尽管这一比较仍然既没有控制任务抽样，也没有控制评分量规。因此，严格差距度量的是部署所要求的端到端任务完成，而不是逐步能力；我们把跨基准比较读作指示性的，在同一协议下重跑先前套件是未来工作（第 8 节）。我们的准确率与上面那些更难的地图推理和空间推理基准一致。相对代码生成，结构化工具调用收紧了输出空间：我们在真实应用程序接口工具调用上的 $60.8\%$，优于 UnivEARTH 的 $33\%$ 准确率和 $58\%$ 代码执行失败率（Kao et al., 2025）。这仍然是跨协议的比较，但与下述判断一致：对生产环境系统而言，结构化应用程序接口比自由形式的代码生成更安全。

表 1. 结构化工具调用地理空间基准的比较。准确率并非同一协议：GeoBenchX 使用大语言模型评判，GNA 使用严格的全检查评分（最好的逐检查部分得分为 $89.6\%$）。

3. GNA 框架

##### 作为 MCP 工具服务器的基准。

为了让 GNA 成为可复用的基底而不是一次性支架，我们把它的十六工具接口暴露为模型上下文协议（MCP）服务器（Anthropic, 2024）。这是一套把语言模型智能体接到外部工具上的开放标准。服务器是评测支架和生产应用程序接口所使用的同一套工具定义与分发器之上的薄封装（约 95 行），不重新实现任何工具逻辑。因此，任何具备 MCP 能力的客户端（Claude Desktop、OpenAI 风格的智能体，或我们自己的评测循环）驱动的都是同一工具层，与应用程序接口所服务的那一层逐字节相同。这把基准（固定的工具、数据和评分器）与受测智能体（唯一变量）干净地分开：一次评测就是把智能体接到 MCP 服务器、发出任务提示，并对所得工具调用做确定性评分。

##### 有意只提供工具的表面。

MCP 定义了若干服务器能力：工具（发现并调用可调用操作）、资源（服务器提供的可读数据或上下文）和提示（服务器提供的模板或脚手架）。GNA 只实现工具能力（list_tools 与 call_tool）。这正是基准所度量的核心：受评能力是工具选择，也就是智能体能否从自然语言意图出发，在正确的时间、用正确的参数、选择正确的工具。暴露资源会让智能体读到预先烤好的上下文，从而绕过工具选择；暴露提示会把泄漏解题路径的脚手架交给它。二者都会污染我们恰好要打分的那种能力。进程内支架与 MCP 传输呈现的是同一决策表面，因此两边的结果可以比较。

图 1 给出系统架构。智能体按 ReAct 式循环运行（Yao et al., 2023）：接收查询、就工具进行推理、执行调用、观察结果并生成回答。智能体可以使用十六个工具：表 2 中的十二项主要操作，外加四项用于图层发现和侵蚀时间序列统计的辅助工具。

图 1. GNA 系统架构。大语言模型智能体与提供 COG 数据的生产应用程序接口交互；评测支架记录全部工具调用并给回答打分。NL 表示自然语言。

表 2. 主要智能体工具。前八项是领域专用的；后四项改编自 GeoBenchX（Krechetova and Kochedykov, 2025）。智能体另外暴露四项此处未列出的辅助工具（图层发现与侵蚀统计）。

##### 多后端推理客户端。

公平的跨模型比较需要把异构的应用程序接口表面归一化：一个原生 Anthropic 后端，以及一个面向 OpenAI 兼容端点的 LiteLLM 后端，把回答——包括工具调用的表示——归一成评测支架所消费的同一种模式。值得注意的是，Llama 4 模型把工具调用发成 Python 风格的函数调用，而不是 JSON；一个专门的、基于抽象语法树的解析器把它们抽出来，使 Llama 4 Scout 与原生 JSON 模型站在同一立足点上被评分。

自己来做： 这套基底与领域无关。把 MCP 服务器（api/agent/mcp_server.py）背后的工具执行器换成你自己领域的操作，并把任务 JSON 换成你自己的案例，就能得到该领域的基准，而分发器、ReAct 循环、评分器和汇总保持不变。

4. 基准实例

GeoNatureAgent 基准包含 103 项任务：组织成 18 个类别的 93 项任务主套件（见表 3），难度覆盖容易（$19\%$）、中等（$47\%$）和困难（$33\%$），外加十项任务的 v6 扩展（第 6.5 节）。扩展既单独报告，也放进合并后的 103 项任务度量里报告。

表 3. GeoNatureAgent 基准主套件（v5）的任务类别（$103$ 项任务中的 $93$ 项，18 个类别）。

每项任务规定：一条自然语言查询（可选地带多轮历史）、期望的工具调用、必须包含与不得包含的字符串、最大轮数、成本预算，以及领域专家给出的真值。错误处理任务被故意做成不可解（不存在的市镇、向仅供显示的图层索要统计），用来检验智能体能否体面地拒绝，而不是产生幻觉。

##### 实例演算。

考虑案例 V5_21（比较）：“比较穆尔西亚和科尔多瓦的二氧化碳地质封存适宜性。哪个省更合适？” 黄金解只发出一次 compare_areas 调用，返回穆尔西亚 $68.5\%$、科尔多瓦 $68.4\%$，落在容差之内（差值 $0.1$ 个百分点，对照 $2.0$ 个百分点），也就是实际上打成平手。每个模型都在这个案例上失败：大多数运行根本没有发出比较调用（这是工具缺失错误），少数发出调用的运行仍然败在回答措辞上，而不是败在 $0.1$ 个百分点的差距上。这是工具选择的失败，不是数值辨别的失败。

该基准覆盖两个国家的三项环境指标：

• 二氧化碳吸收适宜性（分类型，西班牙）：把五项 MITECO 空间标准编码成立法预筛选（Kingdom of Spain, 2025），产生三个类别（不合格、有条件合格、合格）。以云优化 GeoTIFF（Cloud Optimized GeoTIFF，COG）提供。
• 冲沟侵蚀概率（连续型，欧洲）：来自 LUCAS 2022 土壤调查的机器学习预测（Borrelli et al., 2025）（$0$–$100\%$）。以 COG 提供。
• BigEarthNet V2 土地覆盖（分类型，葡萄牙）：由 7.5 万张以上已标注的哨兵 2 号图斑导出的 7 类土地覆盖分布（Clasen et al., 2025），按葡萄牙行政区汇总。以预先计算好的 JSON 统计提供。

另外还有七个图层可供视觉显示，但不能做统计分析，从而形成天然的幻觉陷阱。

为了让工具表面与通用地理信息系统基准对齐，我们把 GeoBenchX（Krechetova and Kochedykov, 2025）的四项典范地理信息系统操作纳入工具集：邻近缓冲（create_buffer）、按空间关系选择要素（select_features_by_spatial_relationship）、质心提取（get_centroids），以及显式任务拒绝（reject_task），以免对超出范围的查询产生幻觉。这些操作从 GeoBenchX 的本地文件范式改编为对着云端应用程序接口运行，在全部 103 个案例中可用，并且只要查询需要空间操作就会被调用，而不是通过专门案例来调用。

##### 设计理由。

类别结构是一张能力分类体系：每个类别隔离环境地理空间分析所需要的一项智能体能力。案例数量按能力的重要性加权，而不是求平衡。工具选择得到最多案例（$21$），因为它是关键的智能体技能（第 6.6 节），而小众能力只得到一两个案例。不均衡的规模是有意的；我们把汇总排行榜当作主要度量，把类别级结果当作指示性的（第 6 节）。难度标签由作者按预期工具链深度指定，只是近似。

##### 跨数据领域的工具覆盖。

工具覆盖随图层而变：二氧化碳和冲沟侵蚀指标（栅格 COG，西班牙与欧洲）由全套工具提供，而 BigEarthNet 土地覆盖指标（预先计算的行政区统计，葡萄牙）只由 analyze_area 提供。因此，对葡萄牙图层做比较、排序和图例查询，需要组合多次 analyze_area 调用，而不能调用一个现成的便利工具。我们把这一点当作评测的一部分：一个有能力的智能体必须认出，名义上适用的工具并不覆盖某一图层，并据此调整。这是现实的工具选择挑战。

5. 评测协议

每项任务由八类检查评分（见表 4）。一项任务只有在全部适用的能力检查都通过时才算通过（严格二元；成本预算只报告，不设门槛）。我们另外计算部分得分度量，以便做更细的分析。

表 4. 评分检查。二元能力通过要求除 max_cost_usd 之外的每一项适用检查都通过。

##### 连续度量。

除了二元通过与否，我们还报告检查得分（每个案例中通过检查所占比例）、关键词覆盖、工具 F1 和成本利用率。工具检查和动作检查以召回率而不是 F1 设门槛：一个智能体如果调用了全部期望工具，再外加一次探索性的额外调用，不应受罚。

##### 错误分类。

任务失败时，按优先级找出第一个失败的检查（tool_missing $\to$ chart_missing $\to$ wrong_data $\to$ rounds_exceeded $\to$ cost_exceeded $\to$ keyword_missing $\to$ forbidden_keyword），由它决定错误类别。只在 cost_exceeded 上失败的运行被能力度量豁免，因此表 8 的分布报告的是每次运行的主导失败模式，而不是穷尽的多标签清点。

##### 能力与成本作为正交轴。

单案成本预算是部署阈值，不是推理能力的度量，因此我们把二者拆开：二元排行榜只给能力打分，单案成本是一条帕累托轴（第 6.3 节），做法跟随 HELM（Bommasani et al., 2023）和 GAIA（Mialon et al., 2024）。带成本门槛的数字仍可从逐案例 CSV 中的 passed_with_cost_gate 恢复。

6. 实验与结果

6.1. 实验设置

我们在完整的 103 项任务 GeoNatureAgent 基准上评测九个大语言模型（93 项任务的 v5 主套件、18 个类别，外加十项任务的 v6 扩展；第 6.5 节），平台覆盖 Vertex AI 的模型即服务、OpenRouter 和 Anthropic Messages 应用程序接口（见表 5）。全部实验使用 v3 系统提示（一条零样本的 ReAct 式指令，提交于 api/agent/prompts/v3.md），max_turns 为 10，max_tokens 为 4096，温度为 1.0。选择这一温度，是为了在现实的采样噪声下暴露运行之间的方差，而不是用会夸大生产稳定性的确定性零温度。提示在所有模型上保持不变，以便把能力与提示工程的努力分开。实验在单个 Cloud Run Job 内顺序运行，以保证基础设施条件相同。

表 5. 所评测的模型。六个经由 Vertex AI（五个模型即服务加上 Gemini 原生），两个经由 OpenRouter，Claude 经由 Anthropic Messages 应用程序接口。

##### 汇总。

为了控制温度为 1.0 的采样所带来的运行间方差，每个模型在应用程序接口暴露种子参数时，用三个种子 $\{42,1337,2024\}$ 跑完全部案例。Anthropic 应用程序接口不暴露种子，因此 Claude Sonnet 4 用两次独立的、温度为 1.0 的样本来评测。所报告的准确率是各种子的均值 $\pm$ 一个标准差。每一行结果都带有种子和案例标识，一个确定性脚本把已提交的 CSV 编译出来，这些 CSV 是本文每一个数字的唯一事实来源。

6.2. 总体结果

表 6. 能力排行榜（准确率单位为百分数，按合并名次）：九个模型在合并后的 103 项任务套件和 93 项任务的 v5 主套件上的结果（第 6.5 节）。各种子均值 $\pm$ 一个标准差，与成本解耦（第 5 节）；成本是各种子主套件运行总花费的均值，美元/案是每次调用的均值。

表 6 汇总了跨种子聚合后的全部结果如下所示，其中准确率以百分数计，总成本与单案成本均以美元计。Claude Sonnet 4 在能力上领先，合并为 $61.7\%\pm 0.7\%$（主套件 $60.8\%\pm 0.8\%$），DeepSeek V3.2 以 $57.9\%\pm 3.9\%$（$56.3\%\pm 3.1\%$）紧随其后。GLM-5 与 Gemini 2.5 Pro 构成第二档，Qwen3-235B 与 GPT-4o 在第三档实际上打成平手，其后是 GPT-OSS-120B 和 Llama 4 Scout。Gemma-3-27B 以 $15.8\%\pm 1.6\%$ 垫底，其中一部分是支架造成的伪迹：它把工具调用发成 tool_code 标记块，而不是被解析的结构化格式。把解析器扩展到接受这种方言后，它的准确率从原始的 $5.7\%$ 大约提高到三倍，无工具调用率从 $96\%$ 降到 $68\%$。这是一个偏弱、但现在被公平度量的模型（Claude Sonnet 4.5 表现出类似的工具调用格式不匹配，我们标出但不纠正；第 6.7 节）。只有两个模型的严格准确率超过 $55\%$，没有一个达到 $65\%$：在这套任务上，即使最强的模型，端到端完成环境工具链仍然是挑战。种子间标准差很紧（主套件上为 $0.8$–$4.3$ 个百分点），因此档位排序对种子噪声是稳健的，但相邻名次并不稳健（见下文）。

有三项发现很突出。第一，排行榜顶部是双峰但彼此接近：Claude Sonnet 4 与 DeepSeek V3.2 只相差 $4.5$ 个百分点（Welch 的 $t=2.40$，$df\!\approx\!2$，$p\!\approx\!0.13$），在我们的样本量下落在统计噪声之内；而二者都领先第三名 GLM-5 超过 $6$ 个百分点（$t\!\geq\!2.76$）。顶部对底部的差距是稳健的（Claude 对 Llama 4 Scout，$t=25.0$）。第二，在我们这一小样本开放权重模型上，以及在全部三个种子上，准确率都强烈跟随规模：Llama 4 Scout（1090 亿混合专家）落后于 Qwen3-235B，后者又落后于 DeepSeek V3.2（6710 亿混合专家）。第三，闭源前沿模型并没有在类别上压过开放权重同行：Claude 只是略高于 DeepSeek，Gemini 2.5 Pro 则落在两个开放权重竞争者之下。这一模式在成本轴上得到加强（第 6.3 节）。

##### 把规模趋势量化。

若限制在五个公开了参数量的开放权重模型（270 亿到 6710 亿），准确率随总参数单调上升：Spearman $\rho=1.0$，在参数的 $\log$ 上 Pearson $r=0.98$，而且在每一个种子上排序都相同。在 $n=5$ 时，精确的双侧置换 $p=2/5!=0.017$，越过了常规的 $0.05$ 阈值。由于这些模型在架构和训练上并不相同，我们把这读作样本内的强趋势，而不是一条一般的缩放定律。

自己来做： 往这张排行榜上加一个模型，就是在 benchmark/experiments/ 里放一份实验 YAML，指向任何 OpenAI 兼容或 Anthropic 端点。已提交的汇总脚本会重新发出排行榜和分类别 CSV，scripts/scaling_stats.py 会在开放权重样本变大时重算规模趋势。

##### 部分得分讲的是另一个故事。

逐检查的部分得分远高于严格准确率：九个模型为 $71$–$90\%$，前四名为 $86$–$90\%$。失败案例常常表现出部分能力——工具选对了，但缺一个关键词——因此许多失败是“差一点”，而这种评分差异是我们的严格准确率低于那些评分更松的基准的主要可度量原因（第 2.4 节）。

##### 自助法置信区间。

为了量化模型间差距有多少是小样本噪声，我们对最初七个 v5 模型的准确率计算 $95\%$ 自助法置信区间，做法是对 $93$ 个主套件案例重抽样（$2{,}000$ 次）。这些区间相当宽，相邻模型之间大量重叠：Claude Sonnet 4 的 $[51.1,69.9]$ 与 DeepSeek V3.2 的 $[47.7,64.5]$ 几乎完全重叠，GLM-5 的 $[41.2,58.1]$ 与 Gemini 2.5 Pro 的 $[39.8,56.3]$ 也是如此。因此，在 $n=93$ 时，相邻模型以及类别级的名次主张应读作指示性的，而不是决定性的。只有顶部对底部的差距稳稳落在任何重叠之外：Llama 4 Scout 的区间 $[19.7,33.7]$ 整个位于 Claude Sonnet 4 的 $[51.1,69.9]$ 之下。

6.3. 成本–准确率分析

图 2. 成本–准确率权衡（气泡大小 $\propto$ 总词元数）。帕累托前沿（虚线）为 Scout $\to$ Qwen3-235B $\to$ DeepSeek V3.2 $\to$ Claude Sonnet 4；四个里有三个是开放权重。

单案成本的变化超过一个数量级，从 Llama 4 Scout 的 $\$0.003$ 到 Claude Sonnet 4 的 $\$0.127$（表 6）。成本–准确率帕累托前沿（图 2）由四个模型组成：Llama 4 Scout（最便宜，能力 $26.9\%$）、Qwen3-235B（每案 $\$0.010$，能力 $41.2\%$）、DeepSeek V3.2（每案 $\$0.011$，能力 $56.3\%$）和 Claude Sonnet 4（能力最高，为 $60.8\%$，每案 $\$0.127$）。四个里有三个是开放权重；其余五个模型——闭源的 Gemini 2.5 Pro 和 GPT-4o，开放权重的 GLM-5、GPT-OSS-120B 和 Gemma-3-27B——都被支配。DeepSeek V3.2 这一点特别值得注意：它以 $11.3\times$ 更低的单案成本提供 Claude 能力的 $93\%$（$56.3\%$ 对 $60.8\%$），因此是对成本敏感部署的最强单模型推荐。成本是提供方托管服务栈上的标价，其硬件和量化我们观察不到（表 5），所以跨提供方的比值反映的是部署者所付的价钱，不是模型的内在效率。

若外推到每天服务 $1{,}000$ 次查询的生产部署（由表 6 的单案成本直接外推），能力领先者（Claude Sonnet 4，$60.8\%$）每天花费 $\$127$，而第二名 DeepSeek V3.2（$56.3\%$）每天花费 $\$11.3$。$4.5$ 个百分点的能力差距，对应 $11.3\times$ 的价格差。对大多数部署而言，合适的工作点落在开放权重帕累托前沿上，除非绝对能力上限比吞吐经济更重要。这一模式呼应了 Geo-OLM 在通用模型中的成本效率发现（Stamoulis and Marculescu, 2025）。

##### 从成本到碳。

把成本分析延伸到环境足迹，我们由词元用量估计每次查询的能耗与碳排放（混合估计为每 $1{,}000$ 个词元 $0.40$ 瓦时；全球平均电网强度为每千瓦时 $400$ 克二氧化碳；这是数量级估计，不是实测）。足迹大体随能力上升（表 7），但驱动因素是词元，不是准确率：在统一的每词元能耗假设下，词元用量大的 DeepSeek V3.2 尽管美元成本低 $11.3\times$，单案碳排（$6.4$ 克二氧化碳）却几乎与 Claude 相同，从而把碳轴和美元轴拆开。对一个环境基准来说，这使足迹与准确率、成本并列，成为一等的部署轴。

自己来做： 每次运行都记录了单案成本和词元数，因此当模型集合或价格变化时，帕累托前沿和足迹表可以由同一批已提交 CSV 重新生成。每词元瓦时和电网强度这两个常数是单一参数，可以换成实测值。

表 7. 每案估计能耗与碳排放（词元 $\times\,0.40$ 瓦时/千词元；$400$ 克二氧化碳/千瓦时）。数量级估计；足迹由词元驱动。

6.4. 失败分析

#### 6.4.1. 困难且依赖模型的类别

有几个小类别很难，或强烈依赖模型（图 4；多数只含两到四项任务，因此这些判断是指示性的）：

近值比较（V5_21，即第 4 节的实例演算）：大多数运行从不调用 compare_areas（第 4 节）；v6 扩展（第 6.5 节）在一组十项、以比较为主的任务上探测这一点（数值差距为 $0.6$–$45$ 个百分点）。排序（$2$ 项任务；均值 $26\%$，各模型为 $0$–$67\%$）：GLM-5 和 GPT-4o（$67\%$）以及 Claude（$50\%$）能处理前 N 与后 N 省份查询，而 Gemini、GPT-OSS-120B、Llama 4 Scout 和 Gemma-3-27B 垫在 $0\%$，错误在错误的工具选择（用 analyze_area 而不是 find_top_n）和捏造的排序之间分摊。单项分析（$2$ 项任务；$17$–$100\%$）和省份汇总（$2$ 项任务；$0$–$75\%$）也表现出同样宽的模型间方差（图 4）。

反过来，九个模型上最容易的类别是记忆与多轮（$6$ 项任务，均值 $75\%$）、阈值（$3$ 项，$72\%$）和市镇（$4$ 项，$69\%$），生境分析（$7$ 项，$65\%$）和语言（$6$ 项，$63\%$）紧随其后：模型大体能维持多轮上下文，也能解析加利西亚语和巴斯克语输入，但难以完成排序和比较所要求的多步工具组合（各两项任务，因此是指示性的）。

#### 6.4.2. 失败模式分布

在全部 $1{,}429$ 次失败的模型–种子–案例运行中，失败集中在工具选择，而不是数据处理（表 8）。全部失败中超过三分之二是工具缺失，而不是数据错误，这重新框定了难度：模型主要败在没有调用正确的工具，而不是误读了正确工具的输出，这与一律偏低的工具选择分数一致（第 6.6 节）。在案例层面，有十一个案例在每一个模型的每一个种子上都未被解出（V5_21、V5_23、V5_25、V5_61、V5_70、V5_71、V5_76、V5_77、V5_78、V5_79、V5_92），跨越比较、深入分析、工具选择和解释，不过第 6.5 节把 V5_21 的近值难度重新归因于工具组合，而不是数值辨别。

自己来做： 这套分类法是评分器的性质，不是我们这套任务的性质。任何由 geoagentbench/scoring.py 评分的案例 JSON，都会给出同样的“第一个失败检查”分布，从而免费为你自己领域的任务提供一张失败分类法。

表 8. 全部 $1{,}429$ 次失败运行上的失败模式分布（九个模型）。

6.5. v6 扩展：重新考察近值比较

上面的近值发现只建立在单个案例（V5_21）上，因此我们跑了一组十项任务的扩展（v6），查询以比较为主，对象是葡萄牙的 BigEarthNet 土地覆盖图层，真值差距从 $0.6$ 到 $45.1$ 个百分点。其中包含一个有意设置的大差距对照（V6_05，$45.1$ 个百分点）、两项图例阅读任务，以及三项汇总任务（一次阈值计数、一次求和、一次先求和再比较）。排行榜上的全部九个模型都在相同的三种子、温度 $1.0$ 协议下运行（表 9）。

三项发现细化了 v5 的结果。第一，“每个模型都解不出”这一说法并不是普遍的：在严格（原始）评分下，Gemini 2.5 Pro 解出了多数比较运行（$67\%$，其中对照为 $100\%$），GPT-4o 达到 $50\%$，因此至少有两个模型能够辨别近乎相等的数值。第二，难度并不跟随数值差距（图 3 左）：汇总后的原始准确率在各个差距上基本持平（$0.6$ 个百分点处为 $26\%$，$1.2$ 个百分点处为 $37\%$，$2.1$ 个百分点处为 $19\%$；每个差距一项任务，因此是指示性的），大差距对照并不更容易（原始 $22\%$），而先求和再比较的任务（V6_10）是全部任务里最难的（每个模型和每个种子的原始得分都是 $0\%$）。因此，缺口不是近乎相等的数值辨别，而是葡萄牙图层所要求的多步工具组合（只由 analyze_area 提供，每次比较都需要若干次顺序调用）。第三，这表现为原始得分与能力得分之间的缺口（图 3 右）：能力评分会豁免预算或轮数耗尽，而 v5 排行榜只豁免成本；它把顶尖模型的比较准确率抬到 $67$–$83\%$，因此多数比较“失败”是组合进行到一半时超时，而不是答错。Claude Sonnet 4 是极端情形：比较能力为 $83\%$，但原始得分为 $0/18$。于是，这次扩展把 v5 的近值案例当作指示性的，而不是根本限制，并把剩余难度重新归因于工具组合和轮数预算（图 3）。

##### 合并后的 103 项任务度量。

把扩展折进主套件，就得到表 9 最后一列的包容性排行榜：Claude Sonnet 4 为 $61.7\%\pm 0.7\%$，DeepSeek V3.2 为 $57.9\%\pm 3.9\%$，GLM-5 为 $52.4\%\pm 2.6\%$，直到 Gemma-3-27B 的 $14.6\%\pm 1.0\%$。v5 的排序从头到尾都保持（只有 Qwen3-235B 和 GPT-4o 互换，且落在噪声内），因此纳入新任务是确认而不是改变标题性发现。各套件的 v6 准确率仍在上文报告，因为这次扩展有意以比较为主，并没有在分布上与主套件匹配。自己来做： v6 是假设驱动扩展的模板。把一份十个案例的 JSON 放进 geoagentbench/cases/，并在 case_loader.py 里登记一行，就能复用整条运行、评分、汇总流水线（scripts/aggregate_combined.py 重算合并排行榜），去探测一个有针对性的假设。关于你的智能体的任何问题，都可以用同样的方式来探测。

表 9. v6 扩展（10 项以比较为主的任务，3 个种子）以及合并后的 103 项任务套件。能力是能力评分（豁免预算与轮数门槛；v5 排行榜只豁免成本）；原始是严格通过。103 项任务合并是在完整的 v5 加 v6 套件上的能力准确率（各种子均值），也是本文的包容性标题度量。

图 3. v6 比较任务。左：汇总比较准确率对数值差距，含原始评分与能力评分——对差距基本持平，而且 $45$ 个百分点的对照并不更容易，因此难度不是近乎相等的辨别。右：各模型的比较准确率，能力对原始；柱间差距是在组合重复的 analyze_area 调用时耗尽轮数或预算。

6.6. 类别级分析

图 4. 九个模型按类别的准确率。

图 4 给出全部九个模型按类别的平均准确率。出现两项结构性发现：

（1）最大的类别——工具选择——一律偏低。 没有模型在它的 21 个案例上超过 $37\%$：Gemini 2.5 Pro（$37\%$）、Claude（$33\%$）、DeepSeek（$30\%$）、GLM-5（$27\%$）和 GPT-OSS-120B（$25\%$）聚在一个 12 个百分点的带内；另外四个（从 Qwen3-235B 的 $17\%$ 到 Gemma-3-27B 的 $5\%$）落在后面。（2）模型的强项是领域专门化的，而不是均匀的。 没有模型在每个类别上都领先：Claude 领先生境分析和记忆（二者都是 $100\%$），以及跨指标综合（$94\%$）；DeepSeek 领先空间推理（$83\%$）；GPT-4o 在单项分析和阈值上与他人并列第一（二者都是 $100\%$），并在排序上达到 $67\%$，分别与 DeepSeek、Qwen3-235B 和 GLM-5 并列。这些领先都只建立在 $2$–$8$ 项任务上，因此是指示性的，而不是统计上可分开的。从业者应当查阅分类别分解，而不是只看标题准确率。自己来做： 类别只是每个案例 JSON 上的一个字段。定义能反映你工作负载任务形态的类别，热图和分类别 CSV 就会为你的套件重新生成。

6.7. 提示版本敏感性与可复现性

有两项控制决定任何工具调用排行榜该如何阅读：系统提示能把分数移动多少，以及支架能否复现。在三个当前模型上用论文的 v3 提示重跑 v5 套件（单一种子），可以同时探测这两点。从运行器的默认提示（v2）换到 v3，Claude Haiku 4.5 提高 $22.6$ 个百分点（$25.8\%\!\to\!48.4\%$），Gemini 2.5 Pro 提高 $11.8$ 个百分点（$30.1\%\!\to\!41.9\%$）。这一摆动大于表 6 里每一个相邻名次的差距，这也是 v3 提示在所有模型上保持固定的原因。新的 Gemini 2.5 Pro 运行（$41.9\%$）落在论文三种子 $95\%$ 自助法区间之内（$[39.8,56.3]$，均值 $48.0\%$），确认支架复现到了采样噪声之内。Claude Sonnet 4.5 得分为 $30.1\%$，尽管部分得分为 $85\%$。这是我们的评分器下的工具调用格式不匹配（已标出待核验），不是能力下降。这些行是并列报告的，并不是对已接受的九模型排行榜重新排名。自己来做： 提示是 api/agent/prompts/ 下的版本化文件。对照固定任务套件测试你自己的提示，是一个新文件加一行配置，不是改代码。

7. 跨数据集可扩展性：BigEarthNet V2

为了展示 GNA 扩展到新数据领域和新国家的能力，我们把 BigEarthNet V2（Clasen et al., 2025）纳入为覆盖另一个国家的第三个数据领域：7.5 万张以上的葡萄牙哨兵 2 号图斑被汇总到 9 个大陆行政区，成为 7 类土地覆盖分布，可通过与西班牙指标相同的 analyze_area 工具查询，并以预先计算的行政区统计作为固定数值真值，从而实现确定性评分。20 个 BigEarthNet 案例跨越七种任务形态（单行政区分解、与西班牙图层的跨指标综合、多轮回忆、图表生成、图例与图层发现、深入画像，以及两个行政区的比较）；其他类别里还有 4 个额外案例，合计 24 个。跨种子汇总后，Claude Sonnet 4 在这个子集上准确率最高（七个专门的生境分析案例为 $100\%$，把葡萄牙土地覆盖与西班牙指标结合起来的八个跨指标案例为 $94\%$），在合并子集上随后是 GLM-5（生境 $81\%$，跨指标 $88\%$）和 DeepSeek V3.2（生境 $71\%$，跨指标 $83\%$），而 Gemini 2.5 Pro 在单独的生境案例上排第二（$86\%$）。在七项和八项任务上，这些排序是指示性的。分数之外，这次整合就是该框架扩展配方的端到端演示。自己来做： 增加一个指标和第二个国家，只需要一份 JSON 统计文件、一次提示更新和新案例，不需要改评分引擎或协议。同一条路径适用于归一化植被指数、降水，或你自己区域的图层。

8. 局限性与未来工作

##### 局限性。

样本小：主套件有 $93$ 项任务、跨 $18$ 个类别，大约一半类别只有三个或更少实例，因此类别级和失败模式的主张是指示性的；汇总排行榜的统计功效好于任何一个单独类别。服务异构：提供方托管的栈在量化和区域上不受控制（表 5），这会混杂绝对延迟和成本，但不会混杂共享的工具接口。单一区域的数据：指标只覆盖西班牙和葡萄牙，因此地理泛化未经检验。评测严格：二元通过与否低估了逐步能力（部分得分为 $71$–$90\%$），并解释了与评分更松的基准之间差距的很大一部分（第 2.4 节）；还没有任何先前套件在我们的协议下被重跑。架构范围：每个系统都是单智能体 ReAct 循环；多智能体分解在相邻基准上带来很大增益（Luo et al., 2026；Lee et al., 2025）。

##### 未来工作。

扩展直接从这些局限推出。评分：基于容差或区间的评分，使近乎相等的比较能在严格二元匹配下存活；再加上用于生产一致性的 $\mathrm{pass}^{k}$ 可靠性度量；并在 GNA 协议下重跑先前套件（例如 GeoBenchX），以做同一协议的比较。覆盖：扩大模型名册、偏薄的类别、任务类型、区域和指标，会提高统计功效并检验泛化。基底：暴露其他 MCP 原语（资源、提示）以及由子智能体编排的客户端，会拓宽受测构造。可持续性：把能耗与碳排放估计细化到实测的每词元足迹，会使足迹成为一等度量。

9. 结论

我们提出 GeoNatureAgent（GNA），一个面向工具型智能体上线前评测的框架。它的旗舰实例通过对着开放、可自托管的应用程序接口做结构化工具调用，来给环境地理空间分析做基准。在三个温度为 1.0 的种子下，于 $103$ 项任务（93 项任务主套件加十项任务扩展）上评测九个大语言模型，得到：

1. 在我们的环境套件上，端到端工具编排仍然是开放问题。 能力领先者（Claude Sonnet 4）在严格全检查评分下，于主套件上达到 $60.8\%\pm 0.8\%$（在全部 $103$ 项任务上，能力评分为 $61.7\%\pm 0.7\%$）；只有两个模型超过 $55\%$，没有一个达到 $65\%$。逐检查部分得分高得多（前四名为 $86$–$90\%$），因此与通用地理信息系统基准所报告的 $85$–$97\%$ 之间的差距，有很大一部分反映的是我们更严格的、基于完成的评分（指示性的；不是同一协议的比较）。
2. 开放权重模型占据成本–准确率帕累托前沿。 前沿上的四个模型里有三个是开放权重（Llama 4 Scout、Qwen3-235B、DeepSeek V3.2）。
3. 能力与成本的权衡很陡。 DeepSeek V3.2 以 $11.3\times$ 更低的单案标价成本，提供 Claude 能力的 $93\%$（$56.3\%$ 对 $60.8\%$）。
4. 系统性失败仍然存在。 缺失的工具调用主导失败（$68\%$），而参数规模只在我们这一小样本开放权重模型内部跟随能力。

GNA 既是一个结果，也是一份配方：把 MCP 服务器背后的工具执行器换成你的领域操作，写好任务 JSON，已提交的流水线就会为你的领域产出排行榜、帕累托前沿、失败分类法和类别分解。GNA——MCP 工具服务器、评测支架、基准和可自托管的应用程序接口——公开于 https://github.com/gabrielireland/GeoNatureAgent_Benchmark；数据集与软件归档于 Zenodo（Diaz-Ireland et al., 2026a；Diaz-Ireland et al., 2026b）。

###### 致谢。

我们感谢 Darwin Geospatial 提供基础设施支持，并开源了代码与实验。葡萄牙土地覆盖统计来自 BigEarthNet V2，其中包含经修改的哥白尼哨兵数据（2017–2018）；我们致谢欧洲空间局和哥白尼计划。

参考文献

• Akinboyewa 等人（2025）。Temitope Akinboyewa、Zhenlong Li、Huan Ning 与 M. Naser Lessani，2025 年。题为《GIS Copilot：迈向用于空间分析的自主地理信息系统智能体》。刊于《国际数字地球杂志》（International Journal of Digital Earth）第 18 卷第 1 期（2025），文章编号 2497489。数字对象标识符：10.1080/17538947.2025.2497489。

• Anthropic（2024）。Anthropic，2024 年。《模型上下文协议》（Model Context Protocol）。网址：https://modelcontextprotocol.io。这是一套把语言模型智能体连接到外部工具和数据的开放标准。

• Arnold 等人（2026）。Christian Michael Arnold、Andrew Alini、Jonathan Wang 等人，2026 年。题为《MapQA：面向视觉语言模型推理的地图问答基准》。网址：https://openreview.net/forum?id=dOISCbmkmG。

• Bommasani 等人（2023）。Rishi Bommasani、Percy Liang 与 Tony Lee，2023 年。题为《语言模型的整体评测》。刊于《纽约科学院年刊》（Annals of the New York Academy of Sciences）第 1525 卷第 1 期（2023），第 140–146 页。数字对象标识符：10.1111/nyas.15007。

• Borrelli 等人（2025）。Pasquale Borrelli、Francis Matthews、Christine Alewell 等人，2025 年。题为《一种监测欧盟冲沟侵蚀的现场与屏幕混合调查》。刊于《科学数据》（Scientific Data）第 12 卷（2025），文章编号 755。数字对象标识符：10.1038/s41597-025-05074-w。这是 LUCAS 2022 冲沟侵蚀调查；数据经由欧洲土壤数据中心与联合研究中心提供。

• Clasen 等人（2025）。Kai Norman Clasen、Leonard Hackel、Tom Burgert、Gencer Sumbul、Begüm Demir 与 Volker Markl，2025 年。题为《reBen：用于遥感图像分析的精炼 BigEarthNet 数据集》。载于《IGARSS 2025——2025 年电气与电子工程师学会国际地球科学与遥感研讨会》，第 1264–1268 页。数字对象标识符：10.1109/IGARSS55030.2025.11242834。

• Diaz-Ireland 等人（2026a）。Gabriel Diaz-Ireland、Diego Prieto-Herráez、Mario García Peces、Javier Velázquez 与 Devika Jain，2026a。题为《GeoNatureAgent 基准——数据集（任务、结果与派生环境指标）》。数字对象标识符：10.5281/zenodo.20450995。

• Diaz-Ireland 等人（2026b）。Gabriel Diaz-Ireland、Diego Prieto-Herráez、Mario García Peces、Javier Velázquez 与 Devika Jain，2026b。题为《GeoNatureAgent 基准——评测支架、智能体与可自托管的地理空间应用程序接口》。数字对象标识符：10.5281/zenodo.20450997。

• Diaz-Ireland 等人（2026c）。Gabriel Diaz-Ireland、Diego Prieto-Herráez、Mario García Peces、Javier Velázquez 与 Devika Jain，2026c。题为《GeoNatureAgent 基准：在前沿与开放权重基础模型上为环境地理空间分析给大语言模型智能体做基准》。载于《第 34 届美国计算机学会地理信息系统进展国际会议（SIGSPATIAL ’26）》，美国计算机学会。数字对象标识符：10.1145/3841645.3844198。这是一份海报。

• Dihan 等人（2025）。Mahir Labib Dihan、Md Tanvir Hassan、Md Tanvir Parvez 等人，2025 年。题为《MapEval：对基础模型地理空间推理的一种基于地图的评测》。载于《第 42 届国际机器学习会议论文集》（加拿大温哥华）（ICML ’25），JMLR.org，文章编号 526，共 40 页。

• Google Research（2025）。Google Research，2025 年。题为《Google Earth AI：用基础模型与跨模态推理解锁地理空间洞察》。Google Research 博客。网址：https://research.google/blog/google-earth-ai-unlocking-geospatial-insights-with-foundation-models-and-cross-modal-reasoning/。

• Huang 等人（2024）。Yu Huang、Liang Guo、Wanqian Guo 等人，2024 年。题为《EnviroExam：给大语言模型的环境科学知识做基准》。预印本 arXiv:2405.11265 [cs.CL]。

• Kao 等人（2025）。Chia Hsiang Kao、Wenting Zhao、Shreelekha Revankar 等人，2025 年。题为《迈向用于对地观测的大语言模型智能体》。预印本 arXiv:2504.12110 [cs.AI]。

• 西班牙王国（2025）。西班牙王国，2025 年。题为《关于碳足迹登记册规制的皇家法令 214/2025》。刊于《国家官方公报》（Boletín Oficial del Estado）。网址：https://www.boe.es/buscar/doc.php?id=BOE-A-2025-7439。

• Krechetova 与 Kochedykov（2025）。Varvara Krechetova 与 Denis Kochedykov，2025 年。题为《GeoBenchX：给求解多步地理空间任务的智能体中的大语言模型做基准》。载于《第一届美国计算机学会 SIGSPATIAL 生成式与智能体式人工智能多模态时空智能国际研讨会论文集》（GeoGenAgent ’25），美国计算机学会，美国纽约州纽约市，第 27–35 页。数字对象标识符：10.1145/3764915.3770721。

• Lacoste 等人（2023）。Alexandre Lacoste、Nils Lehmann、Pau Rodriguez 等人，2023 年。题为《GEO-Bench：迈向用于地球监测的基础模型》。载于《第 37 届神经信息处理系统国际会议论文集》（美国路易斯安那州新奥尔良）（NIPS ’23），Curran Associates Inc.，美国纽约州红钩，文章编号 2223，共 14 页。

• Lee 等人（2025）。Chaehong Lee、Varatheepan Paramanayakam、Andreas Karatzas 等人，2025 年。题为《用于遥感工作流的多智能体地理空间副驾》。载于《IGARSS 2025——2025 年电气与电子工程师学会国际地球科学与遥感研讨会》，第 1084–1089 页。数字对象标识符：10.1109/IGARSS55030.2025.11243915。

• Li 与 Ning（2023）。Zhenlong Li 与 Huan Ning，2023 年。题为《自主地理信息系统：下一代由人工智能驱动的地理信息系统》。刊于《国际数字地球杂志》（International Journal of Digital Earth）第 16 卷第 2 期（2023），第 4668–4686 页。数字对象标识符：10.1080/17538947.2023.2278895。

• Luo 等人（2026）。Qianqian Luo、Qingming Lin、Liuchang Xu 等人，2026 年。题为《GeoJSON Agents：一种用于地理空间分析的多智能体大语言模型架构——函数调用对照代码生成》。刊于《大数据地球》（Big Earth Data）第 0 卷第 0 期（2026），第 1–55 页。数字对象标识符：10.1080/20964471.2026.2615511。

• Marsocci 等人（2025）。Valerio Marsocci、Yuru Jia、Georges Le Bellier 等人，2025 年。题为《PANGAEA：面向地理空间基础模型的全球且包容的基准》。预印本 arXiv:2412.04204 [cs.CV]。

• Mialon 等人（2024）。Grégoire Mialon、Clémentine Fourrier、Thomas Wolf、Yann LeCun 与 Thomas Scialom，2024 年。题为《GAIA：通用人工智能助手的基准》。载于《第十二届学习表征国际会议》。网址：https://openreview.net/forum?id=fibxvahvs3。

• Pan 与 Nipu（2025）。Yu-Erh Pan 与 Ayesha Siddika Nipu，2025 年。题为《经由模型上下文协议增强的大语言模型空气质量监测接口》。载于《2025 年第七届先进电气与通信技术国际研讨会》（ISAECT），电气与电子工程师学会，第 1–6 页。数字对象标识符：10.1109/ISAECT68904.2025.11318775。

• Planet Labs 与 Anthropic（2025）。Planet Labs 与 Anthropic，2025 年。题为《Planet 与 Anthropic 合作，用 Claude 的先进人工智能能力把地理空间卫星影像变成可行动的洞察》。BusinessWire。网址：https://www.businesswire.com/news/home/20250306606139/en/Planet-and-Anthropic-Partner-to-Use-Claudes-Advanced-AI-Capabilities-to-Turn-Geospatial-Satellite-Imagery-into-Actionable-Insights。

• Shabbir 等人（2026）。Akashah Shabbir、Muhammad Akhtar Munir、Akshay Dudhane 等人，2026 年。题为《ThinkGeo：评测用于遥感任务的工具增强智能体》。预印本 arXiv:2505.23752 [cs.CV]。

• Simumba 等人（2026）。Naomi Simumba、Nils Lehmann、Paolo Fraccaro 等人，2026 年。题为《GEO-Bench-2：从性能到能力，重新思考地理空间人工智能的评测》。预印本 arXiv:2511.15658 [cs.CV]。

• Stamoulis 与 Marculescu（2025）。Dimitrios Stamoulis 与 Diana Marculescu，2025 年。题为《Geo-OLM：用成本高效的开放语言模型和状态驱动工作流支撑可持续的对地观测研究》。载于《2025 年美国计算机学会 SIGCAS/SIGCHI 计算与可持续社会会议论文集》（COMPASS ’25），美国计算机学会，美国纽约州纽约市，第 608–619 页。数字对象标识符：10.1145/3715335.3735494。

• Szwarcman 等人（2026）。Daniela Szwarcman、Sujit Roy、Paolo Fraccaro 等人，2026 年。题为《Prithvi-EO-2.0：一种用于对地观测应用的通用多时相基础模型》。刊于《电气与电子工程师学会地球科学与遥感汇刊》第 64 卷（2026），第 1–20 页。数字对象标识符：10.1109/TGRS.2025.3642610。

• Truong 等人（2026）。Thinh Hung Truong、Jey Han Lau 与 Jianzhong Qi，2026 年。题为《GPSBench：大语言模型理解全球定位系统坐标吗？》。预印本 arXiv:2602.16105 [cs.AI]。

• Wasi 等人（2026）。Azmine Toushik Wasi、Wahid Faisal、Abdur Rahman 等人，2026 年。题为《SpatiaLab：视觉–语言模型能否在真实环境中做空间推理？》。预印本 arXiv:2602.03916 [cs.CV]。

• Yao 等人（2023）。Shunyu Yao、Jeffrey Zhao、Dian Yu 等人，2023 年。题为《ReAct：在语言模型中协同推理与行动》。载于《第十一届学习表征国际会议论文集，ICLR 2023》。数字对象标识符：10.48550/arXiv.2210.03629。

• Zhang 等人（2025a）。Yifan Zhang、Jingxuan Li、Zhiyun Wang 等人，2025a。题为《在模拟环境中训练、用于自主生成工具使用链的地理空间大语言模型》。刊于《国际应用地球观测与地理信息杂志》第 136 卷（2025），文章编号 104312。数字对象标识符：10.1016/j.jag.2024.104312。

• Zhang 等人（2025b）。Yuanxin Zhang、Sijie Lin、Yaxin Xiong 等人，2025b。题为《面向跨学科环境挑战微调大语言模型》。刊于《环境科学与生态技术》第 27 卷（2025），文章编号 100608。数字对象标识符：10.1016/j.ese.2025.100608。

• Zhang 等人（2024）。Yifan Zhang、Cheng Wei、Zhengting He 与 Wenhao Yu，2024 年。题为《GeoGPT：一个理解并处理地理空间任务的助手》。刊于《国际应用地球观测与地理信息杂志》第 131 卷（2024），文章编号 103976。数字对象标识符：10.1016/j.jag.2024.103976。

[^1]: https://github.com/gabrielireland/GeoNatureAgent_Benchmark