PatentAgentBench：八类职业专利任务上最强组合平均分 52.8

PatentAgentBench：用八类职业专利任务评测大语言模型智能体

专利实务处在技术、法律和语言的交叉点上，既难做，又直接关系技术创新。大语言模型（LLM，按提示生成文字的模型）和智能体系统（能自己调用工具、分多步完成任务的系统）已经能做一些真实业务流程，也包括一部分专利工作。问题是：现在的系统能不能把专利工作做可靠？已有基准覆盖的专利任务少，而且常常事先给出参考文献或候选文献，把找证据这一步简化掉了。本文提出 PatentAgentBench。它有 510 道实例，分成八个任务套件：新颖性检索、自由实施检索（FTO，freedom-to-operate，查目标法域里可能挡住产品实施的有效专利）、外观设计 FTO、无效检索、权利要求对照（claim charting，把技术特征逐条对到证据）、专利撰写、审查意见答复（OAR，office-action response）和专利翻译。材料来自真实专利记录和职业材料，评分同时用任务专用指标和专家审过的标注、评分标准（rubric）。新颖性检索、FTO 等检索任务不提供候选池，智能体必须自己搜索并比对专利集合。撰写和审查意见答复则在给定技术交底书和审查通知的条件下，评估成稿质量。作者在四种智能体脚手架（harness，包住模型、负责工具调用和重试的运行框架）上评测七个大语言模型。最强的「模型–脚手架」组合平均分是 52.8，职业专利任务上仍有很大差距。分析表明，当前智能体既不擅长找回相关证据，也不擅长写出实质站得住的专利文件。专利草稿大体遵循应有结构，但权利要求的层次、对案件的理解和法律论证仍然弱。这些结果把「生成一份看起来像的文件」和「交付可靠的专利工作」分开。

图 1：八个任务套件上，按平均分排序的前十二组模型–脚手架。

1 引言

专利保护发明、促进技术转移，并提供法律确定性。专利实务是一串任务：技术构思先做新颖性检索，再进入自由实施分析或无效程序（Krestel et al., 2021），然后写成专利申请，经过审查和答复，最后公开（Srinivas et al., 2024）。它同时吃知识和人工，要技术、法律和语言一起上，又是保护创新、管理技术风险所必需的。

近来的大语言模型和智能体系统（Liu et al., 2024; Singh et al., 2025; Comanici et al., 2025; Zeng et al., 2026; Team et al., 2026; Xu et al., 2026）显示出长程工作能力，能交付编程和法律等高价值任务（Yang et al., 2024; Merrill et al., 2026; Harvey AI, 2026）。这些进展让人想用它们加速甚至自动完成专利工作。问题因此变成：常见的大语言模型智能体能否可靠完成专利相关任务？

此前评测专利能力，主要靠考试题、分类和输出评估（Wang et al., 2024; Lee et al., 2024; Knappich et al., 2025; Jiang et al., 2025; Wang et al., 2025; Jang et al., 2025），见表 1。它们量出了专利知识、推理和一部分生成能力，但评职业专利工作时留下两个缺口。第一，职业任务覆盖有限。例如 IPBench（Wang et al., 2025）话题多，但主要是选择题和分类，生成只到摘要和从属权利要求。PANORAMA（Lim et al., 2026）做现有技术选择、证据定位和审查中的可专利性判断。更宽的任务，包括 FTO、无效检索和专利翻译，仍然空着。第二，取证过程被简化：直接供给案件材料或预先造好的候选文献。系统不必自己写查询、检索、再按新证据改检索。这种设置下的分数，不能说明系统能否独立取得并使用完成职业任务所需的证据。

图 2：PatentAgentBench 的代表性任务。新颖性检索等搜索任务要求智能体在没有给定参考文献的情况下找回证据和结果。撰写和审查意见答复要求先基于给定材料做研究，再交付可靠的专利草稿或答复。

本文提出 PatentAgentBench，用八项职业专利任务评测大语言模型智能体：新颖性检索、专利 FTO、外观设计 FTO、无效检索、权利要求对照、专利撰写、审查意见答复和专利翻译。图 2 画出其中几类，覆盖专利实务里的证据发现、权利要求级分析和职业文书。检索类套件要求智能体自己构造查询、搜索专利集合，并在没有候选池时找出相关文献。基准按四阶段建造：专家指导，加上自动收集、案件重构和最终校验。案件来自实际专利记录、官方程序和职业工作材料。作者先从源记录里认出任务输入和参考结果，再重构智能体能看到的输入，并扣住参考答案。领域专家检查材料是否完整，并标注任务专用的参考证据或评分标准。每道实例写明允许使用的证据、要求的输出和评测协议，参考证据链回出处。评测把检索和抽取指标与专家审过的评分标准合在一起，看证据覆盖、事实支持和最终工作产物的质量。

作者用四种脚手架评测七个常见大语言模型，既在固定脚手架下比模型，也在固定模型下比脚手架。最强组合平均分 52.8，职业专利任务上仍有很大改进空间。总分之外还有更具体的缺口：在 Claude Code 这种固定脚手架下，七个模型在无效检索等任务上找回的标注参考文献都不到三分之一；多数模型的证据对齐差于特征抽取。文书分析则显示，写完一份文件不等于实质质量过关。专利草稿结构符合预期，但缺少有意义的从属权利要求保护层次。审查意见答复里，完成度和合规分可以很高，同时对案件的理解、答复策略和有支撑的论证仍然弱。因此当前大语言模型智能体还不能可靠完成这些专利任务，尤其是取证、基于证据的推理，以及交付高质量专利文书。

贡献有三项：

• 提出 PatentAgentBench，覆盖八项职业专利任务，案件来自实际专利记录、官方程序和职业工作材料。
• 提出任务专用指标，把基于参考答案的指标和专家审过的评分标准合在一起，评估证据检索、事实支持和专利工作产物的实质质量。
• 在四种脚手架上评测七个大语言模型，并从两侧分析。结果显示模型与脚手架的配合随任务变化，证据覆盖、证据对齐和文书实质质量上的差距持续存在。

2 相关工作

2.1 大语言模型智能体

基于大语言模型的智能体，已从推理与行动的一般表述，发展到自主协作、多模型协调、多智能体框架和通用编排（Yao et al., 2022; Tran et al., 2025）。早期工作把智能体写成感知环境、做决定、采取行动的系统（Shinn et al., 2023）。CAMEL（Li et al., 2023）用角色扮演做自主协作。HuggingGPT（Shen et al., 2023）用一个大语言模型规划任务，并协调多个模态上的外部模型。AutoGen（Wu et al., 2024）提供大语言模型、人和工具之间交互的一般框架。更新的系统走向通用编排：Magentic-One（Fourney et al., 2024）协调操作浏览器、文件和代码的专用智能体；SuperAgent（Yao et al., 2025）把用户请求路由到带工具的智能体或生成的工作流，并按任务复杂度选模型。这些工作画出的轨迹，是从单个大语言模型智能体，走到用统一界面完成复杂流程的协作系统。PatentAgentBench 评的是智能体系统在八个代表性专利实务套件上的最终职业产物。

2.2 专利实务基准

先前研究从分类、检索、质量评估和文本生成研究专利分析（Shomee et al., 2025）。IPEval（Wang et al., 2024）用专利代理考试中的双语题目，评知识产权知识和法律推理。IPBench 把范围扩到 20 项任务（Wang et al., 2025），但多数仍是封闭集问题或分类，专利生成只到摘要和从属权利要求。PatentEdits（Lee et al., 2024）要求模型预测审查过程中某项权利要求会被保留、修改还是删除，而不生成修改稿。PEDANTIC（Knappich et al., 2025）评权利要求的明确性，以及识别驳回理由。Patent-CE（Jiang et al., 2025）拿候选权利要求对照参考权利要求评质量。PILOT-Bench（Jang et al., 2025）把 PTAB 上诉推理拆成争议点、依据和结果的独立分类任务，考察法律推理。更近的工作更接近审查实务。PANORAMA（Lim et al., 2026）把现有技术选择、证据定位和可专利性分类做成彼此分开的封闭候选池任务。PatRe（Wang et al., 2026）根据审查记录生成审查意见和申请人答复，但它的检索模拟设置会提供一个含标准答案文献的小候选池。相比之下，PatentAgentBench 在统一框架下评完整的、有证据支撑的工作产物，覆盖发明受理、可专利性分析、清障、有效性分析、证据映射、撰写、审查和多语言实务。原文在相关工作里一度写成九个套件，任务定义和数据统计仍是八个套件。

表 1：现有基准对职业专利任务的覆盖。✓ 表示覆盖，✗ 表示不覆盖。

3 PatentAgentBench

第 3.1 节先给出总的数据整理流程。各子任务大体相同，只有小的差别，分述在第 3.2 节。

3.1 数据整理

整理分四阶段，自动处理和专家复核一起做，见图 3。第一，按职业专利实务定义每项任务的输入、应交付物、任务证据和评测标准。第二，专家定纳入和排除标准，用来指导基于规则和由大语言模型协助的筛选，对象是专利记录、官方程序和职业工作材料。专家团队 31 人：五名资深专利审查员、十五名资深专利代理师、三名双资格律师、八名资深知识产权专家。背景见附录 B。专家按相关性、完整性和是否适合入选来审候选案件。第三，解析并规范化入选材料，重构任务输入，并从源记录导出参考证据或评分标准。自动预标注辅助这一步，专家改正标签，并按事实支持和职业相关性审评分标准。每道实例由一名专家标注、另一名专家复核。第四，把输入、证据条件、输出要求和评测锚点打包成案件。最终校验前，要确认参考证据能追溯到来源，且任务输入没有把答案露出来。

图 3：四阶段数据整理流程。

3.2 任务分类

八个套件跨越证据发现、特征级比较和文书准备。新颖性检索、专利 FTO、外观 FTO 和无效检索要求找回相关证据。权利要求对照要求把技术特征映射到给定证据。专利撰写、审查意见答复和翻译要求产出职业文书。表 2 是数据统计，更多细节见附录 C。

表 2：八个任务套件的规模、法域和指标。

新颖性检索。 它找出与「技术方案是否新」有关的现有技术。智能体收到技术说明书，返回排序后的在先专利列表。标准答案来自被多个局审查过的专利族。对每个族，收集审查员针对目标专利及其同族引用的 X 类文献，再去重合并。输入只有技术交底，引用信息被去掉，以免泄漏。80 个案件覆盖中文和英文，并在 IPC 主分类和专利局之间取得平衡。IPC（国际专利分类）是给技术主题编号的分类体系。

专利 FTO。 自由实施检索在目标法域系统查找已授权且仍有效、可能挡住某技术方案或产品实施的权利要求。智能体收到技术描述和目标法域，返回筛过的、可能构成阻碍的专利列表。案件来自已有侵权认定的法院记录：被控产品的技术特征是输入，被认定侵权的专利是参考集。法域覆盖 CN、US 和 EP。这一套要求考虑权利要求范围和法律状态，而不能只靠技术相似。

外观设计 FTO。 它找出可能对产品外观构成侵权风险的外观设计专利。智能体收到目标图像和法域，返回带相似度分数和风险等级的外观专利列表。80 个案件来自相关局的最终无效决定，使用被无效的外观专利和这些案件里的证据图像，覆盖洛迦诺分类第一层的 26 个大类。洛迦诺分类是外观设计的国际分类。任务要求抽出目标外观特征，与检索到的外观图像比较，并按目标法域规则评估侵权风险。评测对照标注的参考专利看检索覆盖。

无效检索。 它找回能用来挑战已授权权利要求的现有技术。智能体收到目标专利的申请号和公开号、申请日和最早优先权日，先检索并分析该专利，再返回现有技术文献，以及相关的新颖性或创造性理由、受影响的权利要求和简短说明。案件来自官方无效决定，以及双方复审（inter partes review）的最终书面决定。每个案件保留一件有代表性的授权专利，并在申请层级去重。除被引文献外，还保留法律条款、推理、证据组合和受影响的权利要求，以便把找回的证据对着决定里已经成立的理由来检查。

权利要求对照。 它把单个技术特征映射到支持证据，用于新颖性、FTO 和无效程序。给定目标文本和对比文献，智能体必须识别目标的技术特征，判断每一项是否被公开，并引用对应证据、给出解释。案件来自覆盖 IPC 部 A、B、C、G、H 的中英文专利和技术文本。外部专利专家标注特征级公开判断、词级证据映射和解释。这些标注经过交叉检查和标准化，使每条判断都能追溯到具体证据。

专利撰写。 它把发明交底书变成一份初步专利申请。智能体收到交底材料，产出包括权利要求书和说明书的完整草稿。案件来自真实专利，保密信息被匿名，专利专家审交底材料并编写评分标准。法域覆盖 CN、US、EP，IPC 覆盖 A–H 部。通用标准评语言、文书结构、权利要求覆盖，以及权利要求与说明书是否一致。案件专用标准评每份交底里的技术特征、关系和约束。合在一起，是看草稿是否把发明写清楚、保住必要特征、支持所要求的保护范围，且不引入没有依据的内容。

审查意见答复。 审查意见列出审查员对申请的反对。答复要用技术和法律论证处理这些反对，并在适当时修改申请。智能体收到审查意见、法域，以及可用的申请材料和被引文献，产出正式答复。40 个案件来自 CN、US、EP 审查。专利专家审案件材料和对答复的要求，包括提出的反对、论证所需证据，以及修改所依据的公开内容。评测用 57 条标准，覆盖案件理解、答复策略、修改质量、实质论证、完整性和事实及引用准确性。每条标准写明适用条件和评分档。

专利翻译。 它支持跨语言申请和审查，同时保住技术含义和权利要求范围。基准含 80 个文档级翻译案件，以及 881 个词、字、句、段层级的条目，以便按类别评分。智能体把中文专利译成英文，或把英文译成中文，不得增加、省略或改动技术内容。翻译对按字、词、句、段和文档组织，覆盖标题、摘要、权利要求和说明书。每道实例标有文本粒度和评测维度，并带对照文本或目标表述，用于术语、特殊字符和专利写作惯例。

4 实验

4.1 实验设置和指标

七个大语言模型放进四种脚手架：模型是 GPT-5.6-Sol、Qwen3.8-Max、Kimi K3、DeepSeek-V4-Pro、MiniMax-M3、GLM-5.3 和 Claude Opus 5；脚手架是 Codex、Claude Code、Openclaw 和 Hermes。智能体可以调用商业专利检索 MCP 服务访问专利数据库。MCP（Model Context Protocol）是让模型调用外部工具的一种协议。基于评分标准的评测用 GPT 6 sol 做评判模型。脚手架版本、模型名和执行协议见附录 A。Claude Opus 5 没有在 Codex 上评测，因为该模型与所用 Codex 配置支持的协议不兼容。

新颖性检索用 Hit@100：前 100 条结果里至少找回一篇标注参考文献的案件比例。专利 FTO、外观 FTO 和无效检索用召回，衡量标注参考文献的覆盖。权利要求对照用 F1。专利撰写和审查意见答复用加权评分标准。审查意见答复用 57 条标准，覆盖基本质量、修改质量和实质论证。翻译用分类指标，再对两个翻译方向取平均。表 3 的各项主分都是 0–100，AVG 是这些任务分的平均。匹配规则、公式、权重和汇总见附录 D。

4.2 实验结果

表 3：PatentAgentBench 主结果。0–100，越高越好。AVG 是任务均分，翻译先对两个方向平均。同一脚手架内，原文用深浅蓝标出最高和次高的正分；显示精度下的并列共用颜色。Codex 与 Claude Opus 5 的组合未测，表中不出现。

表 3 里，Claude Opus 5 配 Hermes 平均分最高，为 52.8；同一模型配 Claude Code 为 50.3。脚手架固定时，例如 Hermes，Claude Opus 5 在无效检索、权利要求对照和撰写上高于 GPT-5.6-Sol，而 GPT 在新颖性检索和审查意见答复上更好。共同弱点是外观 FTO：每一种已评配置的召回都低于 4。抽取视觉特征并搜索相似外观，并没有被当前模型和脚手架很好地支持。文本 FTO 上的高召回带不到这种视觉检索，外观证据发现仍是持续缺口。

模型名次和脚手架优势都不会在配置和任务之间稳定迁移。GLM-5.3 在 Codex 下平均分 48.1，高于 GPT-5.6-Sol 的 43.8；到了 OpenClaw，顺序反过来，GPT 为 50.0，GLM 为 29.5。因此比模型取决于用哪个脚手架来跑。脚手架优势也随任务变化：把 Opus 从 Claude Code 换到 Hermes，无效检索召回从 28.7% 升到 55.0%，增加 26.3 个百分点，而 FTO、权利要求对照和撰写的分数相对接近。这只说明这一对组合对无效检索强，不是 Hermes 在全部专利任务上普遍更强。GPT-5.6-Sol 在 OpenClaw 和 Claude Code 上接近，平均分分别为 50.0 和 49.3，而它在 Hermes 上拿到自己最高的审查意见答复分。所以全局排名最高的配置，不一定是某条具体工作流的最强选择。要为给定专利任务选模型–脚手架，必须看任务级比较。更细的结果在附录 F。

4.3 深入分析

#### 4.3.1 模型与脚手架的交互

图 4：(a) 按模型和脚手架画的八任务平均分。虚线是在全部四种脚手架上都评过的六个模型上的脚手架均值，不含 Opus。柱子画出所有已评组合。(b) 这六个模型的任务分，先在任务内减去四种脚手架的均值，再作图。

发现：同一批模型下，Claude Code 的总体表现最强，并在多数任务上领先。图 4(a) 比较模型–脚手架组合，脚手架均值只在四种脚手架都完整的六个模型上计算。Claude Code 均值 41.9，其后是 OpenClaw 36.0、Hermes 35.0、Codex 33.5。它也在七个模型里的四个上拿到最高平均分：Qwen3.8-Max、Kimi K3、DeepSeek-V4-Pro 和 MiniMax-M3。GPT-5.6-Sol 在 Claude Code 和 OpenClaw 上接近；Opus 在 Hermes 上最好；GLM-5.3 在 Codex 上最好。因此在共同模型上，Claude Code 的合计表现最强。

图 4(b) 显示，这一领先来自八项任务中的五项。OpenClaw 在六个共同模型上平均分第二。Claude Code 在权利要求对照上高出它 23.3 分，在专利撰写上高出 18.2 分。这两项合计解释了它 5.9 分平均优势里的 5.2 分。它的 FTO 召回达到 80.6，Codex 为 40.1，文本风险检索上明显强于该脚手架。但 Codex 在权利要求对照上领先，OpenClaw 在新颖性检索上领先，Hermes 在审查意见答复上领先。各脚手架的翻译分接近，外观 FTO 全都弱。Claude Code 的总领先来自若干工作流上更强，选脚手架时仍要做任务级比较。

#### 4.3.2 现有技术检索和证据对齐

图 5：(a) Recall@5 与 Recall@All 分别衡量前五条结果和全部返回列表对标注参考文献的覆盖。(b) SP-F1 衡量技术特征抽取，CP-F1 衡量权利要求对照里特征到证据的对齐。

发现：证据检索是主导弱点之一；在多数模型上，证据对齐也弱于特征抽取。以 Claude Code 为固定脚手架，无效检索的限制主要是参考文献缺失，而不是排序。图 5(a) 比较前五条内的覆盖 Recall@5 和全列表的 Recall@All。每个模型的 Recall@All 都低于三分之一。把评测从只看前五条放宽到全列表，只多 4.0–10.4 分，至少三分之二的标注参考文献仍未找回。GPT-5.6-Sol 的召回从 21.4% 升到 31.8%，仍有 68.2% 的参考文献缺失。

在对比证据已经给定时，七个模型里有六个在图 5(b) 上的证据对齐低于特征抽取。同一批被评案件上，GPT-5.6-Sol 的差距是 17.0 分，Opus 是 18.5 分。这些模型识别技术特征比建立对应的证据匹配更准。两项分析把弱点放在不同任务上：无效检索主要没能找回参考集，权利要求对照则在「特征对上证据」上低于「认出特征」。

#### 4.3.3 专利文书质量

发现：在文书任务上，多数模型能写出结构完整的草稿并回应答复要求，但难以组织从属权利要求、理解案件事实，以及展开有支撑的论证。

在 Claude Code 下，图 6(a) 显示七个模型在说明书形式上均为 100.0，权利要求形式上为 87.5–98.3。它们写出了应有的文书部分，以及可辨认的独立和从属权利要求。但从属权利要求层次只有 40.8 到 52.5，是每个模型图上显示的最低标准。该标准看从属权利要求是否引入有意义的附加限定，并建立有用的、更窄的保护层次。GPT-5.6-Sol 和 Opus 的权利要求形式分为 95.8 和 98.3，层次分却都是 52.5。弱点在保护范围的组织：形式上完整的权利要求书，不一定为审查或修改提供有用的退路。

图 6：Claude Code 下的文书质量。(a) 六项专利撰写标准的分数。(b) 四组审查意见答复标准的分数。组内按适用标准的原权重在案件内计算，再对有适用且被评到的案件平均。修改分在各模型上覆盖的案件集合不同。全部分数为 0–100。

图 6(b) 看四组审查意见答复标准：完成与合规、案件理解与策略、权利要求修改、实质论证。组分保留原权重，排除不适用标准，再对适用且已评分的案件平均。在有已评分答复的六个模型里，五个模型的最高组是完成与合规。GPT-5.6-Sol 这一组达到 85.8，但理解与策略只有 31.6，论证只有 35.5。DeepSeek 这三项分别是 65.2、16.1 和 18.3。完成答复要求，并不保证读准了案件，也不保证针对审查员反对写出有支撑的论证。修改质量也有限：五个模型低于 20.0；Opus 为 50.0，但只在四个适用案件上，不能直接跨模型比较。两项任务合在一起说明：模型能拼出预期文书，却难以做出让权利要求和论证真正有效的职业判断。

5 案例

作者用两个专利撰写案例说明模型和脚手架如何改变草稿质量。图 7 在同一脚手架下比模型，并在同一模型下比脚手架，突出技术理解和权利要求撰写的差别。另外七个套件的比较在附录 G。

图 7：不同模型–脚手架组合的案例。(a) 固定 Codex：GPT-5.6-Sol 对 MiniMax-M3。(b) 固定 MiniMax-M3：OpenClaw 对 Hermes。

在 Codex 固定时，MiniMax-M3 编造了实验结果，GPT-5.6-Sol 则跟着给定的技术交底走。图 7(a) 的任务是为回收 AlGaN 籽晶晶圆起草申请。交底描述：切开更厚的中间晶圆，在两侧再生长晶体以盖住暴露的裂纹，并在下一循环复用该晶圆。它给出工艺关系，但没有实测例子。GPT-5.6-Sol 保留这一顺序，并不声称做过实验。MiniMax-M3 则写出 900 和 500 $\mu$m 的切割节距，报告晶圆没有断裂，并称再生长 200 $\mu$m 就完全盖住裂纹。这些陈述把所公开的工艺写成一份没有测量支撑的成功制造报告。忠实度标准给两份输出的分数分别是 1.0 和 0.0。错误是无支撑地声称性能已被证实，而不只是多写了描述。可用的草稿必须保住「工艺打算怎样工作」和「所给证据实际确立了什么」之间的区别。

在 MiniMax-M3 固定时，Hermes 把可选项写成必要项，OpenClaw 则保持它可选。图 7(b) 的发明用一次短暂的电机脉冲产生轻微前进或后退，从而确认车辆所选行驶方向。视觉、声音或触觉提示可以补充这种物理反馈，但交底并不要求它们。在 OpenClaw 下，MiniMax-M3 把基于运动的确认放进独立方法权利要求 1，把补充提示放进从属权利要求 2。核心方法因此在没有辅助提示时仍然适用。在 Hermes 下，同一模型在独立方法权利要求 1 里要求至少一种此类提示，从而排除了只用车辆运动的那种已公开实施方式。不必要限定标准给 OpenClaw 1.0、给 Hermes 0.0。脚手架比较暴露的是权利要求范围的具体变化：补充特征变成了核心方法的条件。只保住所公开的部件还不够，如果草稿改变了哪些部件是必需的。

6 结论

PatentAgentBench 评测大语言模型智能体在职业专利任务上的表现，任务跨越证据检索、权利要求级分析和文书准备。它由实际专利记录和职业材料建成，用任务专用指标加上专家审过的标注和评分标准，评估专利实务所要求的证据和工作产物。评测表明，模型和脚手架必须一起看，因为优势随任务变化。当前智能体在找回相关参考文献、以及把技术特征对齐到支持证据上仍然有限。在 Claude Code 下，专利草稿的形式组织强，从属权利要求层次弱。审查意见答复即使完成度和合规分高，在案件理解、答复策略和实质论证上仍然弱。案例进一步说明，无依据的事实添加，以及改动交底里的要求，会破坏草稿质量。可靠的专利智能体既要更强地使用证据，也要更好地控制实质内容。PatentAgentBench 为衡量朝这些要求的进展提供了共同框架。

7 限制

PatentAgentBench 覆盖 8 项职业专利任务。但任务是分开评的，不是一条完整的专利生命周期。评测看的是智能体的最终输出或交付物，而不是工作过程。作者计划以后加入更多任务，并评测完整的专利生命周期。

参考文献

• Comanici et al. (2025). Gemini 2.5: pushing the frontier with advanced reasoning, multimodality, long context, and next generation agentic capabilities. arXiv:2507.06261.
• Fourney et al. (2024). Magentic-one: a generalist multi-agent system for solving complex tasks. arXiv:2411.04468.
• Harvey AI (2026). Harvey lab: the legal agent benchmark. https://www.harvey.ai/blog/introducing-harveys-legal-agent-benchmark
• Jang et al. (2025). PILOT-bench: a benchmark for legal reasoning in the patent domain with irac-aligned classification tasks. Natural Legal Language Processing Workshop 2025, pp. 240–280.
• Jiang et al. (2025). Towards better evaluation for generated patent claims. ACL 2025, pp. 3775–3788.
• Knappich et al. (2025). Pedantic: a dataset for the automatic examination of definiteness in patent claims. arXiv:2505.21342.
• Krestel et al. (2021). A survey on deep learning for patent analysis. World Patent Information 65, 102035.
• Lee et al. (2024). Patentedits: framing patent novelty as textual entailment. arXiv:2411.13477.
• Li et al. (2023). CAMEL: communicative agents for ”mind” exploration of large language model society. NeurIPS, pp. 51991–52008.
• Lim et al. (2026). Panorama: a dataset and benchmarks capturing decision trails and rationales in patent examination. NeurIPS 38.
• Liu et al. (2024). Deepseek-v3 technical report. arXiv:2412.19437.
• Luo et al. (2025). Large language model agent: a survey on methodology, applications and challenges. arXiv:2503.21460.
• Merrill et al. (2026). Terminal-bench: benchmarking agents on hard, realistic tasks in command line interfaces. ICLR 2026.
• Shen et al. (2023). HuggingGPT: solving ai tasks with chatgpt and its friends in hugging face. NeurIPS.
• Shinn et al. (2023). Reflexion: language agents with verbal reinforcement learning. NeurIPS 36, pp. 8634–8652.
• Shomee et al. (2025). A survey on patent analysis: from nlp to multimodal ai. ACL 2025, pp. 8545–8561.
• Singh et al. (2025). Openai gpt-5 system card. arXiv:2601.03267.
• Srinivas et al. (2024). Towards automated patent workflows: ai-orchestrated multi-agent framework for intellectual property management and analysis. arXiv:2409.19006.
• Team et al. (2026). Kimi k3: open frontier intelligence. arXiv:2607.24653.
• Tran et al. (2025). Multi-agent collaboration mechanisms: a survey of llms. arXiv:2501.06322.
• Wang et al. (2024). IPEval，评知识产权知识与法律推理。
• Wang et al. (2025). Ipbench: benchmarking the knowledge of large language models in intellectual property. arXiv:2504.15524.
• Wang et al. (2026). PatRe，由审查记录生成审查意见和申请人答复。
• Yao et al. (2022). 推理与行动的智能体表述，被第 2.1 节引用。
• Yao et al. (2025). SuperAgent，按任务复杂度把请求路由到带工具的智能体或工作流。
• Zeng et al. (2026). Glm-5: from vibe coding to agentic engineering. arXiv:2602.15763.

贡献名单

项目负责人

Lisha Zhang 与 Kai Duan 负责整体方向、资源协调、技术指导和报告终审。

核心贡献者

Yijie Hu、Wei Li、Junjie Zhou、Zhiqi Jiang、Yi Jin、Licong Xu、Xinkai Sun 负责任务与实验设计、数据收集和标注、数据质量、实验基础设施与执行、论文写作和开源开发。

附录 A 实验设置细节

A.1 智能体脚手架

智能体脚手架管理模型、任务上下文和工具调用之间的交互。四种通用脚手架及版本如下。Codex CLI 0.151.0 是 OpenAI 的终端编程智能体，通过模型交互和工具调用在本地执行任务；主表简写为 Codex。Claude Code 2.1.251 是 Anthropic 的智能体编程环境，接受自然语言指令并在工作上下文里协调动作。OpenClaw 2026.8.1 是开源个人助理框架，把可配置模型接到智能体运行时和外部集成。Hermes Agent 0.21.1 是 Nous Research 的智能体框架，有终端界面、多个模型提供方和工具调用流程；主表简写为 Hermes。

A.2 模型和执行协议

评测的模型为 GPT-5.6-Sol、Claude Opus 5、Kimi K3、Qwen3.8-Max、MiniMax-M3、GLM-5.3 和 DeepSeek-V4-Pro。一个配置是一对模型与脚手架。Claude Opus 5 未在 Codex 上运行，因为模型接口与该 Codex 配置支持的协议不兼容。这一未测配置从主表省略，而不是记成 0 分。跨全部四种脚手架的比较使用结果完整的六个模型；含 Opus 的比较只用它有结果的脚手架。

每个配置收到第 3.2 节定义的任务输入和证据条件。初次执行失败最多重试三次，每道实例最多四次尝试。任务分在全部指定案件上计算，包括重试后仍然失败的案件。

A.3 工具和评判模型

基准通过 MCP 提供一项商业专利新颖性检索服务，智能体可调用它找回专利证据。这是基准供给的唯一工具，没有额外工具。脚手架控制模型在执行中如何调用该服务。

撰写和审查意见答复等需要大语言模型评判的部分使用 GPT 6 sol。评判模型对照案件材料和评分标准给提交的工作打分。参考文献匹配和下面定义的自动指标由对应评分器计算。

附录 B 专家团队

表 4 概括参与数据整理和评测设计的 31 名专家的职业背景。

表 4：专家团队的职业背景。

附录 C 数据集细节

表 5 概括每个套件的语言、法域、指标和评分标准覆盖。语言指任务输入或要求的输出；外观 FTO 用图像输入。基准共 510 个案件、八个套件。翻译有 80 个案件、881 个评测条目。指标定义和汇总规则在附录 D。

表 5：数据集覆盖。ZH、EN 为中文和英文。CN、US、EP、EU、WO 分别指中国、美国、欧洲专利局、欧盟和 PCT 国际公开。翻译覆盖跟随源专利公开号。评分标准条数是跨案件相加的标准条目，含重复的通用标准。

表 6 是撰写评分标准库存：每案 15 条通用标准，全套件另有 77 条案件专用条目。审查意见答复用 57 条；其计分维度、适用规则和汇总在下文定义。撰写库存按案件计标准实例，审查意见答复的 57 是标准库存本身，二者不相加。通过率使用各项任务细结果里专家定义的阈值。

表 6：专利撰写评分标准库存。通用标准在提供了该标准的每个案件里计一次。

附录 D 评测指标定义

D.1 记号和汇总

设任务 $t$ 的指定案件数为 $N_t$，案件 $i$ 的主分为 $s_{ti}\in[0,1]$。报告用的尺度因子 $c=100$。每项任务分都报成 0–100：

$$S_t=\frac{c}{N_t}\sum_{i=1}^{N_t}s_{ti}.\tag{1}$$

表 3 的主分包含全部指定案件，失败案件贡献 0。撰写和审查意见答复若原始案件分已在 0–100，先除以 100 再用式 (1)。任务套件数 $T=8$。结果表里的 AVG，即总体均分

$$\bar{S}=\frac{1}{T}\sum_{t=1}^{T}S_t.\tag{2}$$

翻译先对两个方向平均，再贡献一个任务分。缺失的任务结果不同于观测到的 0：任一任务结果或任一翻译方向缺失时，不计算 AVG。

总体任务表现和已评分文书的质量要分开。主结果使用全部指定案件。质量均值和文书级分析只用已评分输出。设该集合为 $A_t$，$n_t=|A_t|$，$q_{ti}$ 为 0–100 的文书质量分。当 $n_t>0$，

$$Q_t=\frac{1}{n_t}\sum_{i\in A_t}q_{ti},\qquad S_t=\frac{n_t}{N_t}Q_t.\tag{3}$$

$Q_t$ 描述已评分文书，$S_t$ 把未评分案件当作 0。这个等式针对同一质量分的均值；单条评分标准不是任务总分。图 6 和附录里的质量分析用已评分输出作分母，描述的是观察到的文书，不是完成任务的频率。通过率使用全部 $N_t$ 个指定案件，未评分案件算作未通过。当 $n_t=0$，条件质量无定义，附录用 0.0 作占位。

检索任务里，$G_i$ 是去重后的参考集，$R_i^{(K)}$ 是前 $K$ 条结果里的不同参考文献，$R_i^{(\mathrm{all})}$ 是匹配并去重后的完整返回列表。匹配使用下面各任务的标识。

D.2 新颖性检索

主指标是 Hit@$K$，$K=100$。至少找回一个参考专利族才得分：

$$s_{\mathrm{nov},i}=\mathbf{1}\!\left[G_i\cap R_i^{(K)}\neq\varnothing\right].\tag{4}$$

公开标识在匹配前映射到专利族。任务分是命中案件的百分比，不是全部参考族被找回比例的平均。补充的 Hit@$K$ 只改截断；补充的 Recall@$K$ 为 $|G_i\cap R_i^{(K)}|/|G_i|$。

D.3 专利 FTO

专利 FTO 对完整返回列表做宏平均召回：

$$s_{\mathrm{fto},i}=\frac{|G_i\cap R_i^{(\mathrm{all})}|}{|G_i|}.\tag{5}$$

匹配在专利申请层级进行。式 (1) 给每个案件相同权重，不管它含有多少参考专利。

D.4 外观 FTO

主指标是宏平均 Recall@$K$，$K=200$：

$$s_{\mathrm{design},i}=\frac{|G_i\cap R_i^{(K)}|}{|G_i|}.\tag{6}$$

只有前 200 条里找到的参考文献进入分子。外观专利的匹配规则沿用参考标注。

D.5 无效检索

无效检索用 Recall@All：

$$s_{\mathrm{inv},i}=\frac{|G_i\cap R_i^{(\mathrm{all})}|}{|G_i|}.\tag{7}$$

参考文献在专利标识层级匹配。分数衡量参考证据集的找回；相关法律理由和受影响权利要求仍可用于案件级分析。

D.6 权利要求对照

主指标是特征级比较的 CP-F1。设 $a_i$、$b_i$、$c_i$ 在标注匹配规则下分别为正确、预测了但未匹配、以及漏掉的参考比较项。精确率和召回率为

$$P_i=\frac{a_i}{a_i+b_i},\qquad R_i=\frac{a_i}{a_i+c_i}.\tag{8}$$

案件分为

$$s_{\mathrm{cc},i}=\begin{cases}\dfrac{2P_i R_i}{P_i+R_i},&P_i+R_i>0,\\ 0,&\text{否则}.\end{cases}\tag{9}$$

分母为 0 的精确率或召回率记为 0。作者平均的是案件级 F1，而不是把比较项跨案件混在一起。补充的 SP-F1 对特征分解项做同样的精确率–召回率计算，不另计入 AVG。

D.7 专利撰写

设 $\mathcal{J}_i$ 为案件 $i$ 适用的通用和案件专用质量标准。标准 $j$ 有规定权重 $w_{ij}$ 和评判分数 $u_{ij}$。案件质量分为

$$s_{\mathrm{draft},i}=\frac{\sum_{j\in\mathcal{J}_i}w_{ij}u_{ij}}{\sum_{j\in\mathcal{J}_i}w_{ij}}.\tag{10}$$

通用标准和案件专用标准进入同一个加权和，相对贡献取决于该案配置的权重。权重为 0 的资格和单一性检查不进入这个质量分。任务分在全部撰写案件上平均案件质量。

D.8 审查意见答复

审查意见答复对照案件材料，用评分标准评估提交的答复。适用标准的分数 $u_{ij}\in\{0,0.5,1\}$。基础权重池把 25% 给基本质量，20% 给修改质量，55% 给实质论证。

设 $\mathcal{A}_i$ 为案件 $i$ 适用且计分的标准，$w_{ij}$ 为最终分配的权重。归一化案件分为

$$s_{\mathrm{oar},i}=\frac{\sum_{j\in\mathcal{A}_i}w_{ij}u_{ij}}{\sum_{j\in\mathcal{A}_i}w_{ij}}.\tag{11}$$

设 $q_i\in[0,1]$ 为归一化之后记录的案件质量。记录分先把 $s_{\mathrm{oar},i}$ 写成 0–100，四舍五入到一位小数，再换回单位区间。主任务分保留全部指定案件，未评分案件贡献 0。细结果里，质量是已评分集合 $\mathcal{D}$ 上 $q_i$ 的均值，通过率为

$$Q=\frac{1}{|\mathcal{D}|}\sum_{i\in\mathcal{D}}q_i,\qquad P=\frac{1}{N}\sum_{i\in\mathcal{D}}\mathbf{1}[q_i\geq\tau],\tag{12}$$

其中指定案件数 $N=40$，专家定义的可用性阈值 $\tau=0.8$。未评分案件不算通过。

分组分析把标准分成四组。完成与合规包括反对覆盖、交付物完整性与文本质量、法域合规。案件理解与策略包括理解案件、选择答复策略、逻辑一致性，以及事实和引用准确性。修改包括改动是否针对反对、是否保住适当的权利要求范围、是否满足法律和形式要求。论证包括对创造性、新颖性、适格性、公开充分、清楚性与支持和必要技术特征反对的实质答复。设 $\mathcal{B}_k$ 为第 $k$ 组标准，$\mathcal{A}_{ik}=\mathcal{A}_i\cap\mathcal{B}_k$，$\mathcal{D}_k$ 为该组总权重为正的已评分案件。组分为

$$R_k=\frac{1}{|\mathcal{D}_k|}\sum_{i\in\mathcal{D}_k}\frac{\sum_{j\in\mathcal{A}_{ik}}w_{ij}u_{ij}}{\sum_{j\in\mathcal{A}_{ik}}w_{ij}}.\tag{13}$$

$Q$、$P$ 和 $R_k$ 在单位区间内。展示时，质量和组分换成 0–100，通过率写成百分比。每个适用案件在案件内加权之后等权贡献。标准级的表对每条标准在它自己的适用且已评分案件上平均。比较均值时必须考虑适用案件集合并不相同。

D.9 专利翻译

设 $q_{di}\in[0,1]$ 为方向 $d$ 上实例 $i$ 的分数。$d=1$ 是中译英，$d=2$ 是英译中。$b_{di}$、$m_{di}$、$r_{di}$、$z_{di}$ 分别为归一化到 $[0,1]$ 的 BLEU-1、METEOR、ROUGE-1 和 SacreBLEU。普通的字、句、段翻译使用

$$q_{di}=\begin{cases}\dfrac{b_{di}+m_{di}}{2},&d=1,\\[4pt]\dfrac{r_{di}+m_{di}}{2},&d=2.\end{cases}\tag{14}$$

文档级翻译使用 $q_{di}=z_{di}$（式 15）。当实例考察的是某项专利专门要求时，用分类检查代替这些重叠分数。设输出文本为 $y_i$，要求的目标术语集为 $T_i$。术语准确率为

$$q_{di}^{\mathrm{term}}=\prod_{t\in T_i}\mathbf{1}[t\text{ 出现在 }y_i\text{ 中}].\tag{16}$$

术语一致性还检查每个标注术语的要求出现次数 $c_{it}$：

$$q_{di}^{\mathrm{cons}}=\prod_{t\in T_i}\mathbf{1}[\mathrm{count}(t,y_i)=c_{it}].\tag{17}$$

对要求保留的特殊字符集 $H_i$，

$$q_{di}^{\mathrm{char}}=\prod_{h\in H_i}\mathbf{1}[h\text{ 出现在 }y_i\text{ 中}].\tag{18}$$

英文标题惯例检查为

$$q_{di}^{\mathrm{title}}=\mathbf{1}[\mathrm{first}(y_i)\notin\{\text{a},\text{an},\text{the}\}],\tag{19}$$

首词不区分大小写。对要求的专利写作表达集合 $W_i$，

$$q_{di}^{\mathrm{norm}}=\frac{\sum_{w\in W_i}\mathbf{1}[w\text{ 出现在 }y_i\text{ 中}]}{|W_i|}.\tag{20}$$

每个实例使用其标注类别对应的规则。幻觉和遗漏检查是辅助诊断，不从 $q_{di}$ 再扣分。

翻译方向数 $D=2$，方向 $d$ 的实例数为 $N_d$。方向分 $S_d$ 和最终翻译分 $S_{\tau}$ 为

$$S_d=\frac{c}{N_d}\sum_{i=1}^{N_d}q_{di},\qquad S_{\tau}=\frac{1}{D}\sum_{d=1}^{D}S_d.\tag{21,22}$$

执行失败仍留在该方向的分母里，贡献为 0。两个方向分各自在实例级汇总之后才平均。

附录 E 任务完成率

完成看的是智能体在评测设置下有没有交付所要求的结果。只要产出了要求的任务输出，这次运行就算成功，与质量分无关。成功率是允许重试之后、已记录任务中完成的比例。表 7 按任务、模型和脚手架报告该比率。

表 7：各模型–脚手架配置的任务完成率（%）。

权利要求对照暴露的失败，是没有给最终交付物留下足够的输出预算。有些模型–脚手架组合一直推理到最大输出长度，交不出完整的权利要求对照表。重复尝试并不能稳定消除这种行为。例如 DeepSeek–OpenClaw 在 30 个案件上都没有可评的对照表，每条存下的回复都报告在模型输出 token 上限处被截断。失败发生在对照表的实质质量可以被评估之前：智能体把预算花在推理上，却没有交付所要求的结果。

审查意见答复暴露的是另一种文书处理失败。扫描版审查文书要求智能体先抽出内容再起草。如果后面的工具返回了纯文本端点不能接受的图像输入，只做 OCR 也挡不住失败。附录 H 的案件显示，一次审查意见答复在图像切片到达纯文本端点时结束。可靠完成因此既要控制中间推理，也要让工具输出和模型输入彼此兼容。

附录 F 分任务结果

分数为 0–100，保留一位小数。未测的 Codex–Opus 配置省略。

F.1 新颖性检索

80 个案件上，Hit 表示是否至少找回一个标注专利族，recall 表示平均找回的标注族比例。GLM-5.3 配 Codex 在报告的各项上领先，但 Hit@100 为 86.3 时，Recall@100 只有 42.3。截断从 10 放到 100，它的召回只从 33.6 升到 42.3：有些相关族出现在更靠后的结果里，平均而言大多数仍未找回。偏好的脚手架也随模型变化：GLM 在 Codex 上高于 Hermes，GPT-5.6-Sol 则相反。即使领先配置，案件级命中率高，也仍然和证据覆盖不完整同时存在。Codex 上 GPT-5.6-Sol 的 Hit@10 / Recall@10 / Hit@100 / Recall@100 为 27.5 / 9.4 / 27.5 / 9.4；Qwen3.8-Max 为 35.0 / 10.0 / 51.3 / 21.6；Kimi K3 为 12.5 / 5.1 / 13.8 / 5.7；DeepSeek-V4-Pro 为 7.5 / 2.7 / 10.0 / 3.4；MiniMax-M3 为 15.0 / 5.2 / 15.0 / 5.6；GLM-5.3 为 76.3 / 33.6 / 86.3 / 42.3。

F.2 专利 FTO

60 个案件。高风险召回只保留被标成高风险的候选。参考文献在申请层级匹配。宏召回对案件等权，微召回把参考申请放在一起算。Claude Code 上 Claude Opus 5 的命中、宏召回、微召回、高风险宏召回、高风险微召回为 90.0 / 86.5 / 77.3 / 85.3 / 73.9。Codex 上 GLM-5.3 为 76.7 / 74.0 / 62.5 / 69.8 / 59.1，GPT-5.6-Sol 为 60.0 / 54.2 / 51.1 / 45.8 / 39.8。文本 FTO 可以很高，这与表 3 里外观 FTO 普遍低于 4 形成对照。

F.3 外观 FTO

80 个案件。主指标是 Recall@200。表 3 中全部已评配置的外观 FTO 都不超过 3.8（Claude Code 上的 Qwen3.8-Max），多数为 0.0。原文还报告来源评分器在截断 200 处的 PRES@200；本文不另造未从正文读出的单元格。视觉检索没有跟着文本 FTO 一起变高。

F.4 无效检索

指定的 80 个案件上，Core 是来源评分器指定的核心参考文献，All 是全部标注参考集。正文第 4.3.2 节在 Claude Code 上给出的全列表召回都低于三分之一；GPT-5.6-Sol 为 31.8%，其中前五条为 21.4%。Hermes 上 Claude Opus 5 的表 3 无效检索分为 55.0，是已列配置里的最高值。

F.5 权利要求对照

30 个指定案件。SP-F1 衡量特征抽取，CP-F1 衡量特征级证据比较。表 3 的权利要求对照分即这项主分：OpenClaw 上 GPT-5.6-Sol 为 54.7，Hermes 上 Claude Opus 5 为 55.1；多个 OpenClaw 和 Hermes 配置为 0.0，与附录 E 里对照表经常没被交付一致。第 4.3.2 节写明，证据已给定时，六个模型的证据对齐仍低于特征抽取，GPT-5.6-Sol 与 Opus 的差距为 17.0 和 18.5 分。

F.6 专利撰写

专家定义的通过阈值为 80/100。质量是成功交付草稿上的均值；通过率以全部 60 个指定案件为分母。表 3 里撰写分最高的一档包括 Codex 上 GPT-5.6-Sol 的 84.7，以及 Claude Code 上 GPT-5.6-Sol 的 84.0、Kimi K3 的 82.9 和 Claude Opus 5 的 82.8。OpenClaw 上 GLM-5.3 只有 1.4，对应附录 E 里撰写完成率 1.7%。第 4.3.3 节补充：Claude Code 下说明书形式都是 100.0，权利要求形式 87.5–98.3，从属权利要求层次只有 40.8–52.5。

F.7 审查意见答复

质量只平均成功评分的答复；通过率以全部 40 个指定案件为分母，未评分案件算未通过。表 3 里 Hermes 上 GPT-5.6-Sol 为 54.8，是该项最高；OpenClaw 上同一模型为 42.7，Claude Code 上为 38.0。第 4.3.3 节给出 Claude Code 下 GPT-5.6-Sol 的完成与合规 85.8、理解与策略 31.6、论证 35.5；DeepSeek 为 65.2、16.1、18.3。五个模型的修改分低于 20.0。

F.8 专利翻译：中译英

套件按 80 个文档级案件计，条目 881 个。指标专用评测集含 421 个普通文本条目和 24 个文档级准确性条目，其余条目覆盖术语、字符和写作惯例。方向分按附录 D.9 汇总后，才和英译中一起平均成表 3 的翻译分。表 3 的翻译分集中在 67.0–71.5，脚手架之间接近。

F.9 专利翻译：英译中

同样是 80 个文档级案件、881 个条目，普通文本 421 项、文档级准确性 24 项。英译中的普通文本用 ROUGE-1 与 METEOR 的平均，而不是中译英所用的 BLEU-1 与 METEOR 的平均。两个方向都把执行失败留在分母里并记 0。表 3 不再把两个方向拆开报告。

附录 G 定性案例比较

附录 G 在七个套件上比较不同模型–脚手架的产物。第 5 节已经展开撰写的两个案例：无测量支撑的实验结果，以及把可选提示写成必要特征。下面保留原文对其余套件的比较位置；没有在正文中逐字给出的个别答复句子，不在这里补写。

G.1 新颖性检索

比较的是返回列表是否含有审查员 X 类文献所代表的专利族，而不是只返回技术上相近的专利。第 F.1 节的 Hit 与 Recall 差距说明，找到一篇相关族不等于找全参考集。

G.2 专利 FTO

比较除技术相似外，是否考虑权利要求范围和法律状态。法院记录里被认定侵权的专利构成参考集。

G.3 外观 FTO

比较目标图像与检索到的外观专利，并按目标法域给出风险等级。原文图 8 用无效决定中的外观和证据图像举例。本文配图保留 PDF 中抽出的外观案例图。

G.4 无效检索

比较找回的文献能否对上决定里的新颖性或创造性理由、证据组合和受影响权利要求。只找回文献标识仍不够。

G.5 权利要求对照

比较特征是否被拆出，以及每项特征是否引用到可追溯的证据。附录 E 说明，有的配置在交出对照表之前就耗尽输出长度。

G.6 专利撰写

比较草稿是否保住交底中的必要特征、不把可选项写成必要项、不添加没有测量的实验结果。评分见第 5 节的 1.0 与 0.0。

G.7 审查意见答复

比较答复是否针对审查员的反对，而不是只在形式上写完。完成与合规可以很高，理解和论证仍然低，见第 4.3.3 节。

附录 H 执行失败案例

权利要求对照的失败模式是推理占满输出上限，最终交付物为空。审查意见答复的失败模式是扫描件经过工具后变成图像切片，再被送到不能接受图像的纯文本端点。两种失败都发生在质量分能够计算之前，因此主结果把它们算进分母并记 0，而不是从平均里删掉。

附录 I 任务提示

原文附录 I 给出各套件使用的任务提示。提示要求检索类任务自行搜索、不得依赖事先给出的候选池，并规定撰写、答复和翻译的输出范围。本文不另写一套提示。执行时每道实例最多四次尝试，评分覆盖全部指定案件。

出处：Yijie Hu，Wei Li，Junjie Zhou，Zhiqi Jiang，Yi Jin，Licong Xu，Xinkai Sun，Kai Duan，Lisha Zhang，PatentAgentBench: Benchmarking LLM Agents with Professional Patent Task Suites，2026-10-26，https://arxiv.org/abs/2610.35031，CC BY 4.0。