Parametric
100 项参数化 CAD 任务，看几何、规定尺寸和 FreeCAD 特征历史，而不只看脚本能否执行。2026 年 9 月 24 日的快照里，最高总体奖励是 61.03%，图生 CAD 更高。
本文目录
Parametric CAD Bench v3: Evaluating Agentic Parametric CAD Authoring from Text and Engineering Drawings Parametric CAD Bench v3：从文本与工程图评估智能体式参数化 CAD 创作
Mei Chen 所属机构：gNucleus AI, Inc. 电子邮件：mei.chen@gnucleus.ai Yu Xia 所属机构：gNucleus AI, Inc. 电子邮件：peggy.xia@gnucleus.ai Haipeng Mao 所属机构：gNucleus AI, Inc. 电子邮件：roc.mao@gnucleus.ai
###### 摘要
生成一份可执行的 CAD 脚本，并不足以证明智能体已经满足一项工程设计请求。评估还必须考虑所得几何、规定尺寸以及原生 CAD 建模历史。我们提出 Parametric CAD Bench（参数化 CAD 基准）v3，这是一项包含 100 个任务的基准，其中 30 个为文本到 CAD 创建任务，30 个为文本到 CAD 创建并编辑任务，40 个为根据工程图重建机械零件的任务。智能体在锁定版本的 FreeCAD（开源 CAD 系统）环境中运行，并向独立的程序化验证器提交原生 CAD 产物。主要指标是平均连续任务奖励，它综合几何相似度与规格一致性，而不是二元任务成功。2026 年 9 月 24 日的快照覆盖 13 个模型–智能体系统；Claude Code 搭配 Claude Opus 5.5 取得最高的总体点估计，为 61.03%，图像到 CAD 的平均奖励为 84.66%。这些测量描述的是完整系统，而不是孤立的模型能力。我们发布带版本的任务、评估配置以及可检查的结果产物。
1 引言
计算机辅助设计（CAD）系统把工程意图表示为可编辑的数字模型。在参数化 CAD 系统中，产物所包含的不止最终几何：几何内核表示并操作曲线、曲面、拓扑与实体；约束求解器强制执行尺寸关系与几何关系；特征历史与依赖图记录建模步骤，使上游参数或特征的更改能够传播到下游几何。这些能力既是 Siemens NX、CATIA、Creo 与 SolidWorks 等专业 CAD 系统的基础，也是 FreeCAD 等开源系统的基础；FreeCAD 使用 Open CASCADE Technology（OCCT）作为其几何内核。相比之下，CadQuery 是建立在 OCCT 之上的、以代码为中心的参数化 CAD 库。我们的基准则要求原生 FreeCAD 文档，其中带有由应用程序管理的 feature tree（特征树）以及文档依赖，而不是仅有 CadQuery 程序或导出的 B-rep。
这一区分对于在真实工程工作流中评估 CAD 智能体很重要；在这类工作流中，参数化 CAD 系统支撑着现代机械设计与制造。一份输出可以在外形上像所请求的零件，却包含错误尺寸、缺失特征、断裂的依赖，或者用静态形状代替所要求的原生特征结构。反过来，替代的特征构造也可以满足同样的工程要求。因此，评估 CAD 智能体所需要的，不止于检验生成的代码能否执行，或所得几何在视觉上或几何上是否相似。
我们的核心问题是：通用人工智能智能体能否在三种工作流中产出几何正确、规格一致的参数化 CAD 产物。
该基准经历了三次发布而演进。我们于 2026 年 5 月发布 Parametric CAD Bench v1，用以评估基于文本创建原生参数化 FreeCAD 模型 [11]。2026 年 9 月，v2 保留了 100 项任务的创建形式，同时收紧了验证与评估隔离：它升级了验证器与 FreeCAD 运行时，把留出资产移入单独的验证器镜像，并规范了奖励报告与失败处理 [12]。V3 把套件扩展到包括编辑以及根据工程图进行重建 [13]；9 月 24 日的更新增加了对 Claude Opus 5.5 搭配两种智能体框架的评估 [14]。
本文聚焦于 v3；v1 与 v2 提供历史背景，而不是额外的评估队列。
Parametric CAD Bench v3 评估三种工作流：文本到 CAD 创建、文本到 CAD 创建并编辑（两阶段创建与编辑），以及图像到 CAD（根据工程图重建）；我们把前两种称为创建以及创建并编辑。其原生 FreeCAD 输出约定允许在渲染图像之外进行检查，而其评分器把几何检查与任务特定的规格检查结合起来。这些检查是预期工程要求的代理；它们本身并不证明可制造性，也不证明在任意未来修改下的功能可编辑性。
本工作的贡献有三方面：
- 1. 一套带版本的 100 项任务评估套件，覆盖三种 CAD 工作流，并带有原生参数化输出要求。
- 2. 一套隔离的执行与程序化评分协议，带有冻结的配置以及按任务划分的诊断产物。
- 3. 对完整模型–智能体系统的一次注明日期的评估，揭示各工作流之间的差异以及观察到的失败模式。
2 相关工作
#### CADGenBench：以产物为中心的 CAD 评估。
CADGenBench 通过与工具无关的 STEP/BREP 提交来评估 CAD 生成与编辑 [19, 4]。其公开排行榜接受候选产物的 ZIP 归档；托管的 Hugging Face Space 运行评估，维护者再另行审查方法学证据，然后才把提交标记为已验证 [19, 5]。这是一种产物提交协议，而不是要求把所提交的智能体放进共同的任务环境中运行。不过，它并不限于单次生成：其参考基线是迭代式的，评估工具也可在本地使用 [19, 4]。我们的侧重点则是在带版本的 FreeCAD 环境中评估完整的智能体执行，并要求原生参数化文档。
#### CADBench：多模态 CAD 程序重建。
麻省理工学院的 CADBench 评估根据网格与渲染图像重建可执行、可编辑的 CAD 程序 [7]。其已发布的评估流水线目前接受以 CadQuery Python 代码形式生成的程序；若要支持其他 CAD 编程语言，则需要对该流水线加以适配 [3]。它包含六个基准族、五种输入模态上的 18,000 个样本，并带有按复杂度分层的、基于 STEP 的划分以及兼顾多样性的抽样。其六项指标覆盖体积 IoU、表面 IoU、Chamfer 距离、有效形状率、词元数以及操作数。与 Parametric CAD Bench v3 一样，它评估的是可执行的 CAD 几何，而不是仅评估渲染外观。然而，其所报告的通用视觉语言模型评估使用直接生成，没有工具使用、自我纠正或多轮改进；我们评估的是 FreeCAD 中完整的交互式智能体工作流。CADBench 强调根据三维观测与物体渲染进行重建，而我们的套件把基于文本的创建、创建并编辑以及根据带尺寸的工程图进行重建结合起来。其论文还把代码可编辑性与恢复原始 feature tree、草图约束或设计意图区分开来，而它并不要求后者。我们的任务则要求带有任务特定参数化结构与规格检查的原生 FreeCAD 文档，而不要求精确复现参考构造历史。这两项基准是互补的：CADBench 提供广泛的重建与模态迁移诊断，而我们较小的套件研究模型–智能体系统端到端的 CAD 任务完成。
#### BenchCAD：基于 CadQuery 的程序化 CAD。
BenchCAD 1.0 包含跨 106 个工业零件族的 17,900 个经执行验证的 CadQuery 程序，并带有图像到代码、指令引导的代码编辑以及视觉/代码问答任务 [21]。其生成评估把执行后的几何与参考进行比较；当前网站也报告带有渲染、测量与迭代工具使用的智能体式运行 [2]。BenchCAD 2.0 于 2026 年 10 月 12 日发布，晚于我们 9 月 24 日的快照；它增加了根据带尺寸工程图进行的零件与装配构建、根据渲染视图进行的逆向工程，以及在离线沙箱中的智能体式评估，全部对照参考几何评分 [1]。其基于图纸的零件任务是与我们的图像到 CAD 工作流最接近的对应物。因此，与 Parametric CAD Bench v3 的区别并不在于智能体能否使用工具，而在于建模接口以及所要求的输出表示。CadQuery 是建立在 Open CASCADE Technology（OCCT）的 Python 绑定之上的高层参数化 CAD 库，它本身并不是几何内核 [6]。FreeCAD 同样使用 OCCT，但提供带有原生模型历史、几何约束草图以及 Python API 的 CAD 应用程序 [8]。BenchCAD 的 CadQuery 任务强调参数化程序合成，而我们的任务要求智能体按所规定的特征结构构造并保存原生 FreeCAD 文档。二者都是 CAD 工作流；我们的设定还额外操练应用程序层级的文档与特征系统。
#### CAD-bench：功能性 CAD 生成。
CAD-bench 发表于 ICML 2026 的一场研讨会，它执行所生成的 CAD 代码或智能体产出的 STEP 文件，并用任务特定测试检查导出的几何，包括尺寸与位姿验证、螺纹廓形分析，以及在 Blender 中的刚体仿真 [20]。其 17 项任务跨越四个难度层级，从基本实体到螺纹配合副与齿轮系。因此，它测试所生成的零件能否协同工作，而 Parametric CAD Bench v3 则在 100 项任务上要求原生参数化 FreeCAD 文档，并对其几何相似度以及与具名尺寸的符合程度评分，而不仿真机构。尽管名称相似，它是一项单独的基准，评估目标也不同。
#### 3DCodeBench：基于网格的程序化三维创作。
3DCodeBench 评估根据文本与图像生成的 Blender Python 脚本，包括迭代执行与视觉反馈 [9]。其所评估的输出是网格，通过可执行性、几何与感知相似度以及成对人类偏好来评定。与之相对，Parametric CAD Bench v3 面向工程取向的机械 CAD：带有边界表示（B-rep）几何以及任务特定尺寸与结构检查的原生参数化 FreeCAD 文档。B-rep 几何表示曲面及其拓扑关系，而不是仅有多边形表面近似 [18]。因此，这一区别是程序化网格资产与带尺寸规定、可编辑的 CAD 模型之间的区别，而不是不精确软件与精确软件之间的区别。3DCodeBench 包含制成品，但其评估并不要求原生机械 CAD 特征历史或工程尺寸符合性。同样，我们的检查也不证明完整的可制造性。
#### Terminal-Bench 与 Harbor：智能体评估基础设施。
Terminal-Bench 为在困难的终端工作流上评估智能体提供了互补的方法学 [17]。我们的基准建立在 Harbor 之上；Harbor 是一个用于在沙箱环境中规定并评估智能体任务的框架 [16]。我们还向 Terminal-Bench 3.0/4.0 贡献了三项 FreeCAD 任务：两项创建并编辑任务（freecad-impeller 与 freecad-spring-clip）以及一项图像到 CAD 任务（freecad-platform-drawing）[15]。这些任务遵循与 Parametric CAD Bench v3 中所评估者相同的创建并编辑以及工程图重建工作流类型。
3 任务与数据集构建
3.1 任务工作流
表 1 描述已发布的任务构成。
表 1：v3 的任务构成。文本到 CAD 创建并编辑是一种两阶段构造工作流，而不是编辑一份由外部提供的 CAD 文档。
| 工作流 | 任务数 | 智能体输入 | 所需 CAD 产物 |
|---|---|---|---|
| 文本到 CAD 创建 | 30 | 零件描述与规定参数 | 原生参数化模型 |
| 文本到 CAD 创建并编辑 | 30 | 基础描述、编辑指令与目标要求 | 基础与编辑后的原生模型 |
| 图像到 CAD | 40 | 工程图与一般执行要求 | 根据图纸重建的原生模型 |
在创建并编辑中，智能体先根据文本构造基础件，再产出编辑后的模型；两份产物都要评分。该任务并不提供一份由外部创作的起始 FCStd。对两份产物评分，并不能确立智能体实际上复用了基础件或保留了其特征历史。图像到 CAD 任务提供工程图，而不是暂不公开的尺寸规格。
3.2 示例任务
#### 文本到 CAD 创建示例。
两项创建任务说明规格的范围。图 1 所示为 freecad-2002df3ce7，一块桁架上板：一块薄的平面框架，其外轮廓是三个矩形区段的并集，并带有圆角化的拐角倒角，最大区段的两侧有镜像的梯形凹口。对角桁架腹板分隔出十七个三角形开口和一个中央六边开口，形成 18 个内部环；周边安装孔与一个中心孔完成该零件。其 86 个关键参数分为五组（表 2）。描述固定了放置这些参数所需的约定，包括一个绕全局 $+X$ 旋转的草图框架，使布局 $+y$ 指向全局 $-Z$，以及每个等腰开口的形心、底边长度与底角定义。评分器参考用一个草图和一个凸台构建该板；它是一个实体，有 203 个面，宽 280 mm，高 549 mm，厚 8 mm。
图 2 所示为 freecad-fa0a1abef3，一个非对称叉形接头连接件：一个矩形中心体，其 $+X$ 端有一个大的开口环式叉形接头，其 $-X$ 端有一个较小的叉，还有一条带三条减载槽的长圆角侧臂。描述说明两端并不是镜像，并固定了沿连接件长度方向、横向与贯穿方向的全局轴。其 44 个关键参数分为八组。评分器参考使用八个草图、四个凸台和四个凹槽；它是一个实体，有 31 个面，尺寸为 157 mm × 45 mm × 50 mm。附录 B 按提供给智能体的原文复现这两份完整描述与参数列表。
图 1：文本到 CAD 创建示例 freecad-2002df3ce7 的评分器参考，一块桁架上板。（b）正对该板，显示其 18 个内部开口、侧面安装孔以及居中的端部延伸。
图 2：文本到 CAD 创建示例 freecad-fa0a1abef3 的评分器参考，一个非对称叉形接头连接件。（b）沿开口环轴线观看，显示叉子、大叉形接头以及带槽侧臂。
暂不公开的评分器规格还说明每个参数如何检查。该板 86 个参数中只有 8 个、该连接件 44 个参数中只有 7 个被绑定到最终几何上的见证；其余参数由该任务的 param_check.py 根据原生草图与特征几何测量。两项任务都不使用任务特定绑定。因此，候选只有在其模型以这些检查能够测量的形式暴露具名尺寸时，才能获得规格得分。第 5.5 节报告所评估系统在这两项任务上的表现。
表 2：两个文本到 CAD 创建示例的关键参数分组，以及评分器如何检查它们。见证：绑定到最终几何上的一个见证。自定义：由 param_check.py 施加的任务特定绑定。原生：由 param_check.py 根据原生草图或特征几何测量。
#### 文本到 CAD 创建并编辑示例。
图 3 说明 freecad-ff7883ab0c。智能体首先构建一个轴对称的带凸缘进口壳体：一个连续的 50.8 mm 中心孔、一个锥形进口凸缘、一个管状中段本体、一个锥形后毂，以及一个平整的 152.4 mm 后凸缘盘。编辑增加一块四重对称的前板，厚 16.51 mm，其轮廓用短的切线连接段把侧面、拐角与过渡圆弧连接起来。它还在板上增加四个 13.34 mm 的贯通螺栓孔，并从后凸缘面向内切出四个深 34.54 mm 的 19.05 mm 开口，每个阵列都从一个带符号的种子中心起按均匀角间距布置。管状本体、进口凸缘、后毂、后盘包络以及中心通道必须保持不变。十五个基础参数和十四个附加目标参数规定了直径、轴向位置、圆弧半径、孔的尺寸与数量以及种子中心偏移。所提供的完整基础描述、编辑指令与参数列表见附录 C。
这项任务把一个轴对称基础件与一块非圆形、以圆弧为界的板，以及位于相对两个面上的两个四孔阵列耦合在一起。脚本必须同时保存 answer_base.FCStd 与 answer_edit.FCStd，每一份都是可编辑的单实体 PartDesign 模型。两个阶段都要评估；仅有一个看似合理的最终轮廓，并不能证明基础构造正确，或符合板轮廓与孔的要求。与其他创建并编辑任务一样，两份已保存的产物本身并不能证明目标复用了基础特征历史。
图 3：文本到 CAD 创建并编辑示例 freecad-ff7883ab0c：可信基础参考（上）与编辑后的目标参考（下），以斜视图与轴向视图示出。每个视图对两个阶段使用相同的角度与比例。编辑增加前凸缘板、其上的四个螺栓孔以及四个后表面开口，同时保留轴对称本体与中心孔。
#### 图像到 CAD 示例。
图 4 示出 freecad-9749149002 的输入图纸与可信参考。该图纸把一幅连杆臂的正投影视图、剖视图与等轴测视图组合在一起；该连杆臂有两个环眼端、成角度的过渡以及带肋的连接梁。尺寸标注规定其总长 56 mm、深度 19.5 mm、不相等的 3 mm 与 2 mm 环眼孔，以及局部半径与偏移。智能体必须调和这些视图与尺寸，以构造一个可编辑的单实体 PartDesign 模型。
与基于文本的示例不同，智能体并不收到单独的散文描述或关键参数列表：图纸是其唯一的几何输入。它必须编写 /app/answer.py，并在 FreeCAD 1.1.0 下保存 /app/answer.FCStd。此处所示的参考在评估期间暂不公开；它说明预期输出，而不是额外的智能体输入。
图 4：图像到 CAD 示例 freecad-9749149002，一根前轮连杆臂。上：提供给智能体的工程图，已裁剪到其图框；图框外的比例线与一般公差注释未示出。下：暂不公开的评分器参考的斜视图。
3.3 参考模型统计
我们使用 FreeCAD 的原生特征类型层级来计数实体建模步骤：派生自 Part::Feature 的对象，排除实体容器、草图与基准辅助对象。中间的以及隐藏的特征历史对象包括在内；阵列无论实例数多少都计为一个特征。通用的 Part::Feature 对象也计入，因此仅凭这一统计并不能证明参数化可编辑性。草图数另行报告。主分布给每项任务一个观测，对创建并编辑使用目标参考，而不是把两个阶段计为分开的任务。100 个最终参考模型总共包含 687 个实体建模特征对象，均值为 6.87，中位数为 6，每项任务的范围为 1–20 个特征。对于 30 对创建并编辑，基础与目标的均值分别为 2.47 与 5.60。这些描述的是所提供的参考构造；它们并不确立有效替代解所需的最少特征数，也不是经过标定的任务难度度量。
表 3：v3 评分器参考中测得的实体建模特征数。文本到 CAD 创建并编辑只把其目标计入 100 项任务的分布。
| 工作流 | 任务数 | 特征均值 | 中位数 | 最小值 | 最大值 |
|---|---|---|---|---|---|
| 全部最终参考 | 100 | 6.87 | 6 | 1 | 20 |
| 文本到 CAD 创建 | 30 | 5.20 | 4 | 1 | 20 |
| 文本到 CAD 创建并编辑（目标） | 30 | 5.60 | 5.5 | 2 | 10 |
| 图像到 CAD | 40 | 9.08 | 8 | 2 | 20 |
图 5 示出整个基准以及每个工作流的单位分箱直方图。补充图示出特征类型构成、草图数，以及 30 对编辑的基础/目标分布。
图 5：每个最终参考模型的实体建模特征数。合计包含 100 项任务，而不是 130 份文档；虚线标出队列均值。计数反映的是参考构造选择，而不是经过标定的难度度量或所要求的求解序列。
4 执行与评估
4.1 锁定的运行时与隔离
运行时使用 FreeCAD 1.1.0、Harbor 0.23.0 以及任务 schema 1.3。验证器锁定 gnucleus-freecad-validator 0.6.0 及其 v2 记分器。基准版本、验证器软件包版本与记分器版本是彼此不同的标识符。参考几何与任务特定的评分器资产放在单独的验证器环境中，而不是智能体环境中。每个公开作业都记录其智能体版本与并发度。
4.2 程序化评分
验证器使用 gnucleus-freecad-validator 0.6.0 中的默认 v2 记分器，计算两个独立的轴，geometry_similarity 与 cad_spec_consistency [10]。
#### 几何相似度。
记分器使用曲面类型面积、体积、总表面积、归一化主惯性矩以及面心迭代最近点（ICP）对齐，来比较候选实体与参考实体。设 $q_{\mathrm{surf}},q_{\mathrm{vol}},q_{\mathrm{area}},q_{\mathrm{mom}}$ 与 $q_{\mathrm{ICP}}$ 表示它们各自在 $[0,1]$ 中的子分数。在下面的门控通过之后，几何分数为
| $\displaystyle p$ | $\displaystyle=\frac{0.05q_{\mathrm{surf}}+0.175q_{\mathrm{vol}}+0.175q_{\mathrm{area}}+0.10q_{\mathrm{mom}}}{0.50},$ | (1) | ||
|---|---|---|---|---|
| $\displaystyle g$ | $\displaystyle=p\left(0.50+0.50q_{\mathrm{ICP}}\right).$ | (2) |
体积在相对误差至多为 $0.1\%$ 时获得满分，在 $1\%$ 或以上时子分数为零；曲面类型面积、总表面积与归一化主惯性矩的相应阈值为 $1\%$ 与 $10\%$。中间误差获得按对数插值的得分。曲面类型比较使用各类型中最大的相对面积误差，分母下限为较大总表面积的 $1\%$。独立测得的 OCCT 有向包围盒是一道门控，而不是额外的加权子分数：在已排序的各向尺寸上，最大相对误差达到 $10\%$ 或以上时，置 $g=0$。结构门控还要求有一个非空的 PartDesign::Body，它通过允许的原生特征产出一个实体，而不是通过烘焙后的形状容器。面数超过 5,000，或面数/顶点数与参考相差超过较大计数的 $50\%$ 的候选被拒绝。门控失败会覆盖空间乘数的非零下限。面心对齐依赖于面分解，因此经由不同特征历史构建的全等几何未必得到 $g=1$。
#### CAD 规格一致性。
记分器解析该任务暂不公开的规格，并对照从候选文档中提取的测量值检查其参数。CAD 工程师编写了随每项任务发布的、位于 tests/grader/param_check.py 中的参数检查逻辑。大多数任务共享一种工作流层级的实现，一个子集再增加针对个案的检查。这些检查编码了测量尺寸的方法、尺寸在 CAD 零件上的正确放置、特征关系，以及该任务规格所要求的导出量。它们用超出全局形状相似度的、面向工程的检查来补充通用测量。v2 路径在提供了可信几何绑定以及个案本地的 param_check.py 细化时予以遵守；其余检查使用按种类的通用测量。默认的标量相对容差为 $1\%$，并在适用处使用个案特定的测量逻辑与绑定容差。设 $n$ 为已解析的规格参数个数，$f$ 为被归类为不一致或未找到的个数。默认的 v2 失败预算为 10：
| $$s=\begin{cases}0,&n=0,\\[2.0pt] \max\!\left(0,1-\dfrac{f}{\min(n,10)}\right),&n>0.\end{cases}$$ | (3) |
|---|
对于 $n\geq 10$，每一个失败或不可测量的参数耗费 0.1，以防止大型规格稀释失败。这一分数度量的是所编码的检查，而不是每一种可能的工程要求，或在任意未来更改下的功能可编辑性。
#### 合并后的任务奖励。
设 $g,s\in[0,1]$ 表示几何分数与规格分数。定义
| $$H(g,s)=\begin{cases}0,&g=0\ \text{or}\ s=0,\\[2.0pt] \dfrac{2gs}{g+s},&\text{otherwise}.\end{cases}$$ | (4) |
|---|
对于创建与图像到 CAD，任务奖励为 $r=H(g,s)$。对于创建并编辑，每个输出分别评分，然后合并：
| $$r_{\mathrm{edit}}=H\!\left(H(g_{\mathrm{base}},s_{\mathrm{base}}),H(g_{\mathrm{target}},s_{\mathrm{target}})\right).$$ | (5) |
|---|
因此，所要求的轴或交付物上的零分不能由另一个轴来挽救。包装器把奖励钳制到 $[0,1]$；文本奖励文件使用六位小数，图像到 CAD 包装器还会把其 JSON 奖励四舍五入到六位小数。
所报告的总体百分比为
| $$S=\frac{100}{N}\sum_{i=1}^{N}r_{i},\qquad N=100.$$ | (6) |
|---|
最终异常结果贡献零分。工作流百分比在每个队列内部计算，因此 $S=0.30S_{\mathrm{create}}+0.30S_{\mathrm{edit}}+0.40S_{\mathrm{image}}$。
这一连续奖励不是 Pass@1。我们另外把最终奖励恰好等于 1.0 的比例报告为操作意义上的完美任务率。已评分试验是没有最终异常的一次试验；已评分计数与正奖励计数是不同的量。
5 结果与分析
5.1 注明日期的排行榜快照
图 9–12 可视化 2026 年 9 月 24 日的 13 行快照。这些图根据已发布的排行榜行生成。总体图示出按平均奖励 $\pm$ $1.96\,s/\sqrt{100}$ 计算的 95% 区间，其中 $s$ 是某一系统 100 个按任务奖励的样本标准差。它们描述的是在每项任务一次最终试验的条件下、对任务样本的不确定性，而不是某一系统重复运行之间的变异性。工作流图只示出点估计。
Claude Code 搭配 Claude Opus 5.5 取得最高的总体点估计，为 61.03%，其后是同一模型搭配 mini-swe-agent，为 57.96%，Codex 搭配 GPT-6 Astra 为 56.87%，Claude Code 搭配 Claude Fable 5.1 为 56.75%。仅凭点估计的排序并不能证明统计上决定性的排名。
各工作流的领先者并不相同：Fable 5.1 搭配 Claude Code 的创建点估计最高（55.48%），Astra 搭配 Codex 在创建并编辑上领先（44.37%），Opus 5.5 搭配 Claude Code 在图像到 CAD 上领先（84.66%）。因为各工作流使用不同的任务总体，这些差异不能仅归因于输入模态。
5.2 同一模型与同一智能体的比较
我们按任务 ID 配对最终奖励，而不是只比较队列均值。对于下面的描述性计数，当两个结果的奖励相差至多 0.05（5 个百分点）时，二者相近；较高的结果必须超过这一容差。相近并不是统计等价性声明，也不意味着成功：两个零奖励结果也计为相近。最终异常结果保留其零奖励。
#### Claude Code 下的 Opus 5.5 与 Opus 5 之比较。
在 Claude Code 内部，总体点估计从 Opus 5 的 50.86% 上升到 Opus 5.5 的 61.03%，增加 10.18 个百分点。发布分析为这一改进报告的配对 95% 置信区间为 5.22–15.13 个百分点 [14]。它是对 100 个按任务奖励差值的正态近似：其均值 $\pm$ $1.96\,s_{d}/\sqrt{100}$，其中 $s_{d}$ 是它们的样本标准差。表 4 表明，这并不是各工作流上均匀的改进。对于创建，Opus 5.5 在 8 项任务上更高，在 18 项上相近，在 4 项上更低；对于创建并编辑，相应计数为 4、23 与 3。图像到 CAD 显示出最广泛的改进：Opus 5.5 在 40 项任务中的 22 项上更高，在 15 项上相近，仅在 3 项上更低。其配对图纸任务增益的中位数为 7.62 个百分点，而且在 Opus 5 下获得零奖励的全部五张图纸，在 Opus 5.5 下都获得正奖励。22.02 个百分点的图像到 CAD 均值增益，在施加该基准的 30/30/40 工作流权重之后，大约占总体改进的 87%。
#### Opus 5.5 下的 Claude Code 与 mini-swe-agent 之比较。
为支持多模态任务，我们给 mini-swe-agent 的运行增加一条显式系统提示：当任务引用一幅图像时，智能体必须先通过其多模态观测通道发送该图像，检查所得的视觉输入，然后才继续该任务。这与一座已配置的桥相配合，该桥把带标记的、base64 编码的 shell 输出转换为供模型使用的图像内容；仅有提示并不能启用图像传输。Opus 5.5 的配置使用 mini-swe-agent 2.4.6，保留完整的图像载荷，并把格式错误的图像输出留作文本。
在保持 Opus 5.5 不变时，Claude Code 超出 mini-swe-agent 3.08 个百分点。然而，以同样方式计算的配对区间为 $[-1.15,7.31]$ 个百分点，因此这些结果并不能确立任一智能体的总体优势。表 5 中的工作流层级比较比总体排序更有信息量。Claude Code 在创建上领先 8.07 个百分点，有 9 个更高的结果、20 个相近的结果和 1 个更低的结果。mini-swe-agent 在创建并编辑上领先 1.68 个百分点：Claude Code 在 2 项任务上更高，在 24 项上相近，在 4 项上更低。对于图像到 CAD，40 个结果中有 30 个相近，每个智能体各在 5 项任务上更高。因此，Claude Code 在那里 2.90 个百分点的均值优势反映的是相异结果的幅度，而不是更多的任务级胜出次数。两个系统在直接图像输入的图纸重建上都超过 80% 的平均奖励。这些比较仍然以所评估的配置与日期为条件，包括不同的 Claude Code 版本；它们并不是完全受控的模型或智能体消融。
表 4：保持 Claude Code 不变；A：Opus 5.5，B：Opus 5。更高表示任务奖励优势大于 5 个百分点；相近包括边界。这些计数并不确立统计等价。
| 工作流 | $N$ | A 均值 | B 均值 | A 更高 | 相近 | B 更高 |
|---|---|---|---|---|---|---|
| 文本到 CAD 创建 | 30 | 50.87% | 49.48% | 8 | 18 | 4 |
| 文本到 CAD 创建并编辑 | 30 | 39.69% | 36.52% | 4 | 23 | 3 |
| 图像到 CAD | 40 | 84.66% | 62.64% | 22 | 15 | 3 |
| 总体 | 100 | 61.03% | 50.86% | 34 | 56 | 10 |
表 5：保持 Opus 5.5 不变；A：Claude Code，B：带多模态桥的 mini-swe-agent。更高表示任务奖励优势大于 5 个百分点；相近包括边界。这些计数并不确立统计等价。
| 工作流 | $N$ | A 均值 | B 均值 | A 更高 | 相近 | B 更高 |
|---|---|---|---|---|---|---|
| 文本到 CAD 创建 | 30 | 50.87% | 42.79% | 9 | 20 | 1 |
| 文本到 CAD 创建并编辑 | 30 | 39.69% | 41.38% | 2 | 24 | 4 |
| 图像到 CAD | 40 | 84.66% | 81.77% | 5 | 30 | 5 |
| 总体 | 100 | 61.03% | 57.96% | 16 | 74 | 10 |
#### 初步结论。
最清晰的已观测增益在工程图重建上：Opus 5.5 把 Claude Code 的图像到 CAD 分数提高 22.02 个百分点，相比之下创建为 1.39 个百分点，创建并编辑为 3.17 个百分点。两个 Opus 5.5 系统在图像到 CAD 上都超过 80%（84.66% 与 81.77%），因此较强的图纸结果并不局限于某一种智能体实现 [14]。这表明图纸到 CAD 的任务完成有实质性进展，但参数化 CAD 创作并非一律可靠：同样的系统在创建并编辑上只达到 39.69% 与 41.38%。这些是不同的任务队列，而不是仅针对模态的受控测试。连同发布帖中跨两种智能体的 Gemini 比较，结果还表明模型能力与智能体接口都重要；它们并不指出一个普遍更优的智能体 [13]。
5.3 多模态 CAD 性能
图像到 CAD 在所评估的模型–智能体系统之间产生最大的分离。在 13 行中，其平均奖励范围为 8.18% 到 84.66%，跨度为 76.49 个百分点。相比之下，创建的范围为 23.32% 到 55.48%（32.16 个百分点），创建并编辑为 23.23% 到 44.37%（21.14 个百分点）。图像到 CAD 最高的五个系统达到 62.64–84.66%，而其余八个只达到 8.18–31.10%。因此，图纸重建比两种基于文本的工作流都更鲜明地区分这些系统。
这一模式在单一智能体家族内部也能看到。在三行 Claude Code 中，图像到 CAD 从搭配 Opus 5 的 62.64% 到搭配 Opus 5.5 的 84.66%，相差 22.02 个百分点。相应的跨度在创建上只有 6.00 个百分点，在创建并编辑上只有 3.17 个百分点。智能体配置也同样重要：Gemini 3.8 Flash 在图像到 CAD 上搭配 mini-swe-agent 的多模态桥达到 31.10%，搭配 Antigravity 为 17.45%，相差 13.65 个百分点。它在这两种智能体之间的创建以及创建并编辑差异较小，分别为 4.66 与 5.90 个百分点。
这些结果表明，多模态 CAD 任务完成是所评估系统之间的一个主要区分因素。较强的图纸表现要求解释视图、尺寸与几何关系，并把它们翻译成有效的参数化模型。然而，这些分数度量的是整个工作流，而不是孤立的视觉感知：CAD 构造、工具使用、图像传输与失败恢复都可能影响结果。较大的分数跨度本身并不能确立这些因素中哪一个造成了差距，尤其是因为各工作流包含不同的任务。
5.4 效率
#### 每得分点的成本。
我们把完整 100 项任务运行的已知 API 成本除以其在 0–100 标度上的总体分数。API 成本来自每个作业产物中记录的用量。对于 Grok Build 搭配 Grok 4.7，以及 mini-swe-agent 搭配 Kimi K3、Muse Spark 1.3 与 Claude Opus 5.5，其产物没有记录成本或记录不完整，成本来自我们的审计；审计按标准 API 费率对已保存轨迹中的词元用量计价。这一描述性比率度量的是每取得一个得分点的支出，而不是把系统提高一个点的边际成本。Codex 搭配 GPT-6 Astra 在全部 13 个系统中比率最低：$317.81 除以 56.87 个点，即每点 $5.59。其总支出并不是最低的，但额外支出买到了高得多的奖励：与使用 Codex 的 GPT-5.6 Sol 相比，Astra 只多花费 $25.82，同时高出 26.89 个点。
#### 每任务速度。
Astra 的平均已用试验时长也最短，为 14.42 分钟，相比之下 Sol 为 16.58 分钟，Claude Code 搭配 Fable 5.1 为 31.11 分钟，Claude Code 搭配 Opus 5.5 为 32.51 分钟。这些是最终试验的已用时间，包括准备、智能体执行与验证，而不是孤立的模型推理延迟。我们不用整个作业的挂钟时间来给速度排名，因为各次运行之间的并发、暂停、重试与调度并不相同。
#### 奖励–成本权衡。
Astra 56.87% 的平均奖励接近 Fable 5.1 的 56.75%，但其已知 API 成本大约低 70%，其平均试验时长也不到后者的一半。分数更高的 Claude Code–Opus 5.5 系统比 Astra 的点估计高出 4.17 个点，API 成本为 1.81 倍，平均试验时长为 2.25 倍。因此，Astra 提供的是奖励、成本与每任务速度之间一个有利的已观测平衡，而不是不惜任何代价的最高奖励。这些比较描述的是所评估的配置及其经过审计的 API 核算；它们排除了部分计算与托管成本，也并不确立为什么一个系统需要更少的时间或支出。
5.5 观察到的任务难度
在来自 13 个已评估系统的 1,300 次入选最终试验中，393 次（30.23%）获得零奖励。表 6 按工作流总结这一模式。创建并编辑的零结果率最大，为 41.54%，相比之下创建为 22.56%，图像到 CAD 为 27.50%。这些计数使用官方最终结果，包括取值为零的最终异常，以及对没有产生模型结果的提供方或平台失败所做的重跑，而不是已被取代的尝试。
表 6：13 个已评估系统上观察到的难度。零奖励结果是最终试验中奖励为零的比例。后三列计数不同的任务：在全部 13 个系统中为零、在至少 7 个系统中为零，以及在至少一个系统中奖励恰好为 1.0。各队列包含 30 项文本到 CAD 创建任务、30 项文本到 CAD 创建并编辑任务，以及 40 项图像到 CAD 任务。
| 工作流 | 零奖励结果 | 全部 13 个为零 | $\geq$7 个为零 | 任一完美 |
|---|---|---|---|---|
| 文本到 CAD 创建 | 22.56% | 0 | 5 | 6 |
| 文本到 CAD 创建并编辑 | 41.54% | 5 | 11 | 3 |
| 图像到 CAD | 27.50% | 0 | 8 | 6 |
| 总体 | 30.23% | 5 | 24 | 15 |
难度集中在任务的一个子集上。有二十四项任务从 13 个系统中的至少 7 个获得零奖励：5 项创建任务、11 项创建并编辑任务，以及 8 项图像到 CAD 任务。有五项任务从每一个系统都获得零奖励，全部位于创建并编辑。在 26 项任务上，没有任何系统达到 0.5：9 项创建、16 项创建并编辑，以及 1 项图像到 CAD。在另一端，有 15 项任务从至少一个系统获得恰好为 1.0 的完美奖励（6 项创建、3 项创建并编辑，以及 6 项图像到 CAD）。因此，较强的图纸总体表现与仍然相当大的难度并存，尤其是在两阶段 CAD 构造中。这些是所评估系统与配置的描述性结果，而不是对任务固有可解性的估计。
已保存的诊断还表明，零奖励通常与 CAD 评分标准相关联，而不是与最终执行异常相关联。在 393 个零分中，326 个涉及为零的几何分量，其中包括 50 个同时具有为零的规格分量。另有 33 个只在规格一致性上失败；其余包括 23 个最终异常、7 个缺失输出，以及 4 次记分器崩溃。这一分解描述的是观察到的失败表象，而不是经过独立裁定的根因。
#### 示例任务结果。
两个创建示例以不同方式失败。桁架板（图 1）是至少 7 个系统给出零奖励的 24 项任务之一：13 个系统中有 9 个得到零（表 7）。其中八个零只来自规格轴。这些结果的几何相似度在 0.126 与 0.445 之间，但 86 个参数中有 12 到 80 个不一致或未找到，从而用尽公式 3 中为 10 的失败预算。第九个零是一次最终异常。在四个正奖励结果中，Claude Fable 5.1 搭配 Claude Code 近乎精确（0.999，每个参数都一致）；其余分别漏掉 1、7 与 9 个参数。Codex 搭配 GPT-5.6 Terra 以较低的几何相似度（0.232）获得 0.140，低于五次零奖励尝试的几何相似度，因为它停留在失败预算之内。在这项任务上，把获得奖励的尝试区分开来的是规格一致性，而不是总体形状。
叉形接头连接件（图 2）显示出相反的模式（表 8）。13 个系统中有 12 个获得正奖励，Claude Opus 5 搭配 Claude Code 在三位小数上获得 1.000，每个参数都一致。只有 Codex 搭配 GPT-5.6 Terra 获得零，而且两个轴都是零。其余十一个正奖励结果在 44 个参数中至多漏掉 7 个，但其几何相似度范围只有 0.175 到 0.500。其中两个，即 Claude Fable 5.1 搭配 Claude Code，以及 Gemini 3.8 Flash 搭配 mini-swe-agent，通过了每一项参数检查，却因为几何相似度为 0.265 而只获得 0.419。在这里，限制大多数奖励的是几何，而不是具名尺寸。
表 7：13 个已评估系统在桁架板示例 freecad-2002df3ce7 上的最终结果。$g$ 与 $s$ 是几何分数与规格分数；失败数计的是 86 个参数中不一致或未找到的个数。—：最终异常之后没有已评分输出。
| 模型 | 智能体 | 奖励 | $g$ | $s$ | 失败数 | 结果 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | Claude Code | 0.999 | 0.998 | 1.000 | 0 | 正奖励 |
| Grok 4.6 | Grok Build | 0.628 | 0.482 | 0.900 | 1 | 正奖励 |
| GPT-6 Astra | Codex | 0.375 | 0.500 | 0.300 | 7 | 正奖励 |
| GPT-5.6 Terra | Codex | 0.140 | 0.232 | 0.100 | 9 | 正奖励 |
| Claude Opus 5 | Claude Code | 0.000 | 0.146 | 0.000 | 13 | 规格为零 |
| Claude Opus 5.5 | Claude Code | 0.000 | 0.445 | 0.000 | 12 | 规格为零 |
| Claude Opus 5.5 | mini-swe-agent | 0.000 | — | — | — | 最终异常 |
| GPT-5.6 Sol | Codex | 0.000 | 0.299 | 0.000 | 80 | 规格为零 |
| Gemini 3.8 Flash | Antigravity | 0.000 | 0.195 | 0.000 | 19 | 规格为零 |
| Gemini 3.8 Flash | mini-swe-agent | 0.000 | 0.247 | 0.000 | 17 | 规格为零 |
| Grok 4.7 | Grok Build | 0.000 | 0.319 | 0.000 | 18 | 规格为零 |
| Kimi K3 | mini-swe-agent | 0.000 | 0.286 | 0.000 | 19 | 规格为零 |
| Muse Spark 1.3 | mini-swe-agent | 0.000 | 0.126 | 0.000 | 24 | 规格为零 |
表 8：13 个已评估系统在叉形接头连接件示例 freecad-fa0a1abef3 上的最终结果。各列同表 7；失败数计的是 44 个参数中不一致或未找到的个数。
| 模型 | 智能体 | 奖励 | $g$ | $s$ | 失败数 | 结果 |
|---|---|---|---|---|---|---|
| Claude Opus 5 | Claude Code | 1.000 | 1.000 | 1.000 | 0 | 正奖励 |
| Claude Opus 5.5 | Claude Code | 0.615 | 0.500 | 0.800 | 2 | 正奖励 |
| Claude Fable 5.1 | Claude Code | 0.419 | 0.265 | 1.000 | 0 | 正奖励 |
| Gemini 3.8 Flash | mini-swe-agent | 0.419 | 0.265 | 1.000 | 0 | 正奖励 |
| GPT-6 Astra | Codex | 0.397 | 0.264 | 0.800 | 2 | 正奖励 |
| Kimi K3 | mini-swe-agent | 0.397 | 0.264 | 0.800 | 2 | 正奖励 |
| Muse Spark 1.3 | mini-swe-agent | 0.397 | 0.264 | 0.800 | 2 | 正奖励 |
| Grok 4.7 | Grok Build | 0.307 | 0.190 | 0.800 | 2 | 正奖励 |
| Gemini 3.8 Flash | Antigravity | 0.299 | 0.190 | 0.700 | 3 | 正奖励 |
| Claude Opus 5.5 | mini-swe-agent | 0.252 | 0.218 | 0.300 | 7 | 正奖励 |
| Grok 4.6 | Grok Build | 0.252 | 0.218 | 0.300 | 7 | 正奖励 |
| GPT-5.6 Sol | Codex | 0.243 | 0.175 | 0.400 | 6 | 正奖励 |
| GPT-5.6 Terra | Codex | 0.000 | 0.000 | 0.000 | 26 | 几何与规格均为零 |
6 讨论与局限
该基准是一项经过编选的 100 项任务 FreeCAD 评估，而不是全部工程 CAD 的代表性样本。族依赖与选择决策限制了推广。原生单实体 PartDesign 要求并不覆盖一般的装配配合、FEM/FEA、制造鉴定或广泛的有机曲面建模。
创建并编辑度量的是两阶段构造，而不是对一份由外部创作的文档进行维护。评分器奖励是启发式代理：几何相似度与已检查参数并不能证明所有未来编辑、设计意图或工程有效性。替代的有效构造可能会挑战基于参考的比较。
公开资产、提供方未披露的训练数据以及不断变化的提供方实现，限制了污染声明与可复现性。智能体工具、提示、服务路径与预算混淆了仅针对模型的比较。单次官方尝试并不能确立逐次运行的稳健性。已知 API 成本排除了部分计算与托管成本。
7 结论
Parametric CAD Bench v3 评估跨基于文本的创建、创建并编辑以及工程图重建的智能体式 CAD 创作。其 100 项任务要求原生参数化 FreeCAD 模型，并通过几何相似度以及由 CAD 工程师编选的规格检查来评估。
在 13 个已评估的模型–智能体系统中，最大的性能差异出现在图像到 CAD。Opus 5.5 相对于 Opus 5 的改进集中在图纸重建上，而智能体比较揭示的是随工作流而变的长处，而不是一个普遍更优的接口。创建并编辑仍然具有挑战性：有五项任务从每一个已评估系统都获得零奖励。成本与速度也区分各系统；Codex 搭配 GPT-6 Astra 提供最低的已观测每得分点 API 成本，以及最短的平均试验时长。
这些结果在突出实质性进展的同时，也指出可靠的参数化 CAD 构造中仍然存在的局限。通过发布带版本的任务、执行配置、评分代码以及可检查的运行产物，Parametric CAD Bench 为度量工程取向 CAD 智能体的进展提供了一个带版本、可检查的基础。
参考文献
- [1] BenchCAD. BenchCAD 2.0: Benchmarking programmatic CAD on real engineering work. Blog post, October 2026a. URL
https://benchcad.com/blog/benchcad-2.html. Published October 12, 2026; accessed November 1, 2026.
中文题名：BenchCAD 2.0：在真实工程工作上对程序化 CAD 进行基准评测
著录：BenchCAD。博客文章，2026 年 10 月 a。URL https://benchcad.com/blog/benchcad-2.html。发表于 2026 年 10 月 12 日；访问于 2026 年 11 月 1 日。
- [2] BenchCAD. BenchCAD: A benchmark for programmatic CAD, 2026b. URL
https://benchcad.com/. Accessed October 6, 2026; includes agentic evaluation results.
中文题名：BenchCAD：面向程序化 CAD 的基准
著录：BenchCAD，2026b。URL https://benchcad.com/。访问于 2026 年 10 月 6 日；包含智能体式评估结果。
- [3] CADBench Contributors. CADBench: Evaluation code and submission requirements. Official project repository, 2026. URL
https://github.com/anniedoris/CADBench. Accessed October 6, 2026.
中文题名：CADBench：评估代码与提交要求
著录：CADBench 贡献者。官方项目仓库，2026。URL https://github.com/anniedoris/CADBench。访问于 2026 年 10 月 6 日。
- [4] CADGenBench Contributors. CADGenBench benchmark submission requirements, 2026a. URL
https://github.com/huggingface/cadgenbench/blob/main/docs/benchmark/submission.md. Accessed October 6, 2026.
中文题名：CADGenBench 基准提交要求
著录：CADGenBench 贡献者，2026a。URL https://github.com/huggingface/cadgenbench/blob/main/docs/benchmark/submission.md。访问于 2026 年 10 月 6 日。
- [5] CADGenBench Contributors. CADGenBench validation policy, 2026b. URL
https://github.com/huggingface/cadgenbench/blob/main/docs/benchmark/validation.md. Accessed October 6, 2026.
中文题名：CADGenBench 验证政策
著录：CADGenBench 贡献者，2026b。URL https://github.com/huggingface/cadgenbench/blob/main/docs/benchmark/validation.md。访问于 2026 年 10 月 6 日。
- [6] CadQuery Contributors. CadQuery documentation: Introduction. Official documentation, n.d. URL
https://cadquery.readthedocs.io/en/latest/intro.html. Accessed October 6, 2026.
中文题名：CadQuery 文档：引言
著录：CadQuery 贡献者。官方文档，未注日期。URL https://cadquery.readthedocs.io/en/latest/intro.html。访问于 2026 年 10 月 6 日。
- [7] Anna C. Doris, Jacob Thomas Sony, Ghadi Nehme, Era Syla, Amin Heyrani Nobari, and Faez Ahmed. CADBench: A multimodal benchmark for AI-assisted CAD program generation, 2026. URL
https://arxiv.org/abs/2605.10873. Version 2, June 18, 2026.
中文题名：CADBench：面向人工智能辅助 CAD 程序生成的多模态基准
著录：Anna C. Doris、Jacob Thomas Sony、Ghadi Nehme、Era Syla、Amin Heyrani Nobari 与 Faez Ahmed，2026。URL https://arxiv.org/abs/2605.10873。第 2 版，2026 年 6 月 18 日。
- [8] FreeCAD Contributors. FreeCAD: Your own 3d parametric modeler. Official project repository and overview, n.d. URL
https://github.com/FreeCAD/FreeCAD. Accessed October 6, 2026.
中文题名：FreeCAD：你自己的三维参数化建模器
著录：FreeCAD 贡献者。官方项目仓库与概述，未注日期。URL https://github.com/FreeCAD/FreeCAD。访问于 2026 年 10 月 6 日。
- [9] Yipeng Gao, Lei Shu, Genzhi Ye, Xi Xiong, Ameesh Makadia, Meiqi Guo, Laurent Itti, and Jindong Chen. 3DCodeBench: Benchmarking agentic procedural 3d modeling via code, 2026. URL
https://arxiv.org/abs/2606.01057.
中文题名：3DCodeBench：通过代码对智能体式程序化三维建模进行基准评测
著录：Yipeng Gao、Lei Shu、Genzhi Ye、Xi Xiong、Ameesh Makadia、Meiqi Guo、Laurent Itti 与 Jindong Chen，2026。URL https://arxiv.org/abs/2606.01057。
- [10] gNucleus AI. FreeCAD Validator 0.6.0: Geometry and specification scoring implementation. Versioned source code, 2026a. URL
https://github.com/gNucleus-AI/freecad-validator/tree/v0.6.0/src/freecad_validator. Version 0.6.0, default v2 scorer.
中文题名：FreeCAD Validator 0.6.0：几何与规格评分实现
著录：gNucleus AI。带版本的源代码，2026a。URL https://github.com/gNucleus-AI/freecad-validator/tree/v0.6.0/src/freecad_validator。版本 0.6.0，默认 v2 记分器。
- [11] gNucleus AI. Parametric CAD Bench: Can ai agents author editable cad? Benchmark release post, May 2026b. URL
https://cadbench.ai/news/parametric-cad-bench. Published May 13, 2026.
中文题名：Parametric CAD Bench：人工智能智能体能创作可编辑的 CAD 吗？
著录：gNucleus AI。基准发布帖，2026 年 5 月 b。URL https://cadbench.ai/news/parametric-cad-bench。发表于 2026 年 5 月 13 日。
- [12] gNucleus AI. CAD Bench v2: A corrected benchmark for the new frontier. Benchmark release post, September 2026c. URL
https://cadbench.ai/news/cad-bench-v2. Published September 8, 2026.
中文题名：CAD Bench v2：面向新前沿的一项校正后的基准
著录：gNucleus AI。基准发布帖，2026 年 9 月 c。URL https://cadbench.ai/news/cad-bench-v2。发表于 2026 年 9 月 8 日。
- [13] gNucleus AI. Parametric CAD Bench V3: Text, editing, and engineering drawings. Benchmark release post, September 2026d. URL
https://cadbench.ai/news/cad-bench-v3. Published September 21, 2026.
中文题名：Parametric CAD Bench V3：文本、编辑与工程图
著录：gNucleus AI。基准发布帖，2026 年 9 月 d。URL https://cadbench.ai/news/cad-bench-v3。发表于 2026 年 9 月 21 日。
- [14] gNucleus AI. Parametric CAD Bench V3: Claude Opus 5.5 takes the lead. Leaderboard update post, September 2026e. URL
https://cadbench.ai/news/cad-bench-v3-opus-5-5. Published September 24, 2026.
中文题名：Parametric CAD Bench V3：Claude Opus 5.5 取得领先
著录：gNucleus AI。排行榜更新帖，2026 年 9 月 e。URL https://cadbench.ai/news/cad-bench-v3-opus-5-5。发表于 2026 年 9 月 24 日。
- [15] gNucleus AI. FreeCAD tasks contributed to Terminal-Bench. Task implementations in the Terminal-Bench repository, 2026f. URL
https://github.com/harbor-framework/terminal-bench/tree/main/tasks. Tasks: freecad-impeller, freecad-spring-clip, and freecad-platform-drawing; accessed October 6, 2026.
中文题名：贡献给 Terminal-Bench 的 FreeCAD 任务
著录：gNucleus AI。Terminal-Bench 仓库中的任务实现，2026f。URL https://github.com/harbor-framework/terminal-bench/tree/main/tasks。任务：freecad-impeller、freecad-spring-clip 与 freecad-platform-drawing；访问于 2026 年 10 月 6 日。
- [16] Harbor Framework. Harbor. Framework website, 2026. URL
https://harborframework.com. Accessed October 6, 2026.
中文题名：Harbor
著录：Harbor Framework。框架网站，2026。URL https://harborframework.com。访问于 2026 年 10 月 6 日。
- [17] Mike A. Merrill et al. Terminal-Bench: Benchmarking agents on hard, realistic tasks in command line interfaces, 2026. URL
https://arxiv.org/abs/2601.11868.
中文题名：Terminal-Bench：在命令行界面中对困难且贴近真实的任务评测智能体
著录：Mike A. Merrill 等，2026。URL https://arxiv.org/abs/2601.11868。
- [18] Open CASCADE. Open CASCADE Technology: Modeling data. Official user guide, n.d. URL
https://dev.opencascade.org/doc/overview/html/occt_user_guides__modeling_data.html. Accessed October 6, 2026.
中文题名：Open CASCADE Technology：建模数据
著录：Open CASCADE。官方用户指南，未注日期。URL https://dev.opencascade.org/doc/overview/html/occt_user_guides__modeling_data.html。访问于 2026 年 10 月 6 日。
- [19] Michael Rabinovich and Hugging Face. CADGenBench: A benchmark for AI-driven CAD generation. Benchmark and leaderboard website, 2026. URL
https://huggingface.co/spaces/HuggingAI4Engineering/CADGenBench. Accessed October 6, 2026.
中文题名：CADGenBench：面向人工智能驱动 CAD 生成的基准
著录：Michael Rabinovich 与 Hugging Face。基准与排行榜网站，2026。URL https://huggingface.co/spaces/HuggingAI4Engineering/CADGenBench。访问于 2026 年 10 月 6 日。
- [20] Dhruv Saini. CAD-bench: Benchmarking language models on functional CAD generation. Poster, The Second Workshop on Agents in the Wild: Safety, Security, and Beyond, ICML 2026, 2026. URL
https://icml.cc/virtual/2026/67851. Accessed November 1, 2026.
中文题名：CAD-bench：在功能性 CAD 生成上评测语言模型
著录：Dhruv Saini。海报，ICML 2026 第二届研讨会 Agents in the Wild: Safety, Security, and Beyond，2026。URL https://icml.cc/virtual/2026/67851。访问于 2026 年 11 月 1 日。
- [21] Haozhe Zhang, Kaichen Liu, Miaomiao Chen, Lei Li, Shaojie Yang, Cheng Peng, and Hanjie Chen. BenchCAD: A comprehensive, industry-standard benchmark for programmatic CAD, 2026. URL
https://arxiv.org/abs/2605.10865.
中文题名：BenchCAD：面向程序化 CAD 的全面的工业标准基准
著录：Haozhe Zhang、Kaichen Liu、Miaomiao Chen、Lei Li、Shaojie Yang、Cheng Peng 与 Hanjie Chen，2026。URL https://arxiv.org/abs/2605.10865。
附录 A–E 另文发布，仍是同一篇论文，不是另一篇来源。
觉得有用，转给同事
微信扫码
用微信扫一扫，在手机上打开后即可转发。