PaperBenchX 附录：任务清单、重放协议与轨迹案例

附录 A 任务包、清单与公开发布

A.1 一个完整任务的解剖与信息边界

我们用公开的 06-gmr-grating-fano-meep 包把任务合同讲具体。该包是 github.com/UniPat-AI/PaperBenchX 上十二个任务发布的一部分。这个任务要求智能体用 Meep 复现三对多层介质光栅中的导模共振。起始提交和科学环境在受控试验中面向智能体，而测试、量规、评判提示和参考产物留在评测者环境里。全部组件都可以接受检查。

#### 组件与评测时的可见性。

表 A1 把智能体可用的材料与仅评测者可用的资源分开。这一边界在评测期间适用；完整的演示包，包括其评测者资源，现在已公开供审计。

表 A1：任务组件及其在评测期间的可见性。仅评测者可见的组件在评测之后包含在公开演示包里。

#### 演算过的科学合同。

表 A2 概括导模共振任务中决定必须执行什么、必须保留什么证据的部分。完整协议仍然是权威的；这一摘要说明其结构，而不是取代它。

表 A2：导模共振演示任务的压缩公开合同。

#### 从合同到证据叶子。

评测期间使用的隐藏量规把公开的科学要求转换成独立的叶子。代表性叶子检查：(i) 所执行的几何是否包含规定的六层和全深度空气槽（建模）；(ii) 干净重放是否重新生成真正的 Meep 运行、原始数组、日志和细化对照（执行）；(iii) 功率闭合、极点拟合、模式一致和收敛是否满足所披露的科学条件（验证）。缺失的一项影响依赖它的叶子，而不是悄悄施加一个全局零分。

#### 评测者政策。

只有干净重放重新生成的证据可采信。评测者接受有文档说明的等价数据布局和单位换算，但不从报告推断缺失的单位、相位、来源或科学量。科学失败在受影响的叶子上得零分；评测者的读取或工具失败则暂缓该判断，以便修复和再评。每片叶子对照其写明的要求来判断，而不以某个模型级分数为目标。

#### 完整的公开记录。

钉住的 06-gmr-grating-fano-meep 目录包含完整的智能体说明、科学附录、环境定义、评判提示、量规和参考材料。

A.2 完整基准清单

表 A3 遵循用于所报告模型结果的 93 题结果集。数字前缀标识研究领域，“yes” 标出该领域的公开演示。任务标识保持原文，以便对应发布目录。

表 A3：所报告评测使用的完整 93 题基准清单。

上表按十二个研究领域列出全部九十三个任务标识。公开演示标为 yes 的，分别是 1-2、2-1、3-1、4-13、5-9、6-4、7-1、8-1、9-5、10-3、11-1 和 12-2。其余任务留在隐藏评测集。领域依次为射频天线与阵列、射频超表面与散射、射频滤波器与频率选择表面、集成光子器件、光子晶体与拓扑光子学、光学超表面光栅与等离激元、光学计算与信号处理、光学谐振器滤波器与可调器件、计算化学、计算材料科学、计算生物学与生物信息学、机器人学与具身人工智能。

译注：任务标识保持英文目录名，下面只把字面含义写成中文，方便和发布目录对照，不改任务合同，也不把计算任务写成实验操作。射频天线与阵列十题：五代智能手机八单元多输入多输出；共面波导四端口超宽带多输入多输出，此项公开；双频无线局域网小型化贴片；F 形短截线超宽带多输入多输出；喷墨柔性双频圆极化贴片；超表面宽带圆极化贴片；寄生去耦双单极子多输入多输出；TM30 高增益圆极化贴片；超宽带分形缺陷地天线；宽带中和线多输入多输出。射频超表面与散射六题：各向异性编码扩散超表面，此项公开；棋盘电磁带隙雷达散射截面缩减；八圆扇区宽角吸波；鱼形双功能偏振转换；相变材料熵与遗传算法编码超表面；超宽带相变材料棋盘雷达散射截面。射频滤波器与频率选择表面五题：角度稳定的双通带频率选择表面，此项公开；小型化双阻带频率选择表面；嵌入窗口的吸波透波体；四阶基片集成波导带通滤波器；四模宽带微带滤波器。集成光子器件十四题：双模锥形耦合器；伊顿透镜多模弯曲；异质铌酸锂与氮化硅过渡及分束；铌酸锂绝缘体多模弯曲；偏振不敏感的铌酸锂绝缘体边缘耦合器；伦伯透镜光子晶体波导耦合器；模分复用硅光有效折射率多模干涉；硅基多模交叉；硅基多模干涉分束；氮化硅弯曲定向耦合分束；绝缘体上硅亚微米交叉；绝缘体上硅亚波长光栅多模干涉分束；亚波长光栅各向异性移相器，此项公开；亚波长光栅模式交换 Y 结。光子晶体与拓扑光子学十四题：半 W1 磷化铟镓慢光；高阶拓扑绝缘体四极子角态；蜂窝光子晶体克莱因隧穿；铌酸锂光子拓扑绝缘体能带与边缘态；线缺陷自准直；光子晶体法诺腔与波导增益；光子晶体超透镜成像；带滑移对称的 W1 慢光；宇称时间布拉格单向不可见，此项公开；自准直六边形路由；SSH 光子晶格边缘；拓扑谷环通道滤波；谷弯曲畴壁；一维光子晶体 Zak 界面。光学超表面、光栅与等离激元十题：铝线栅偏振器周期扫描；领结孔径共振；介质棒法诺不可见；导模共振光栅法诺，此项公开；集成超表面纳米柱查找；超光栅异常偏折；双钩光子纳米喷流；等离激元二聚体热点；准连续束缚态超表面品质因子；硅光栅天线。光学计算与信号处理六题：布儒斯特空间微分，此项公开；衍射光学神经网络虹膜分类；导模共振二维边缘检测；光学平板空间积分；光子晶体异或门；亚波长光栅空间微分。光学谐振器、滤波器与可调器件五题：一维胆甾液晶谐振器，此项公开；铌酸锂绝缘体无热微环滤波；氮化硅微环光流控；绝缘体上硅亚波长光栅泵浦滤波；范德瓦耳斯微机电开关。计算化学八题：乙烯酮水链；镍十三碳与镍二的动力学同位素效应判别；镍催化 Catellani；氮删除动力学；海松烯基阳离子分岔，此项公开；铂铑活化氮气；血清素转运体构象对接；溶剂分岔动力学。计算材料四题，编号从二起且跳过四：铍弹性；二硫化钼能带，此项公开；碳化硅在 PBEsol 与 HSE06 下的性质；铝表面能。计算生物学与生物信息学五题，都是计算分析而不是湿实验：人类细胞遗传互作，此项公开；转移迁移；线粒体脂质与肠上皮；配体到靶点；折叠模型。机器人学与具身人工智能六题，编号缺五和七：EmbodiedBench；地图引导的房间到房间导航，此项公开；Octo；PoliFormer；RT-1-X；TraceVLA。十二个标成 yes 的就是公开演示，其余留在隐藏评测集。

A.3 公开演示任务

表 A4 列出公开 GitHub 发布中十二个包的确切标识和源出版物。原始标识予以保留，因为它们直接对应提交 7abb21c4 上发布的任务目录。

表 A4：十二个公开演示任务及其源出版物。

A.4 平台与资源包络

表 A5 报告公开任务包所声明的限制。这些限制是配置上限，而不是测得的运行时间。图形处理器一栏为空，表示没有声明图形处理器数量。

图 7：领域原生环境的代表性输出。各面板展示基准中科学工作流产生的求解器场和谱、数值分析输出，以及具身任务场景。

表 A5：表 A4 中十二个公开任务包的执行栈和声明的资源限制。

十二个公开包里，三个射频任务使用 Ansys HFSS，智能体时限分别为二十四、七十二和四十八小时，三十二个处理器、一百二十八吉字节内存。五个 Meep 任务的智能体时限为五到七小时，八个处理器、三十二吉字节内存。计算化学使用 PySCF 与 GPU4PySCF，并声明一块图形处理器。计算材料使用 Quantum ESPRESSO。计算生物学使用 Python 科学软件栈。机器人学任务使用本地 Qwen2.5-VL 与 vLLM，智能体十八小时，磁盘一百吉字节，一块图形处理器。

附录 B 评测与核验协议

本附录展开第 3.4 节的评测协议。

B.1 范围、资源与试验记录

#### 评测范围。

基准包含 93 个任务和 3,168 片被评分的量规叶子。全部 10 种配置都在同样的 93 个任务上评测，回退和缺失结局政策在第 4.1 节定义。部分分数是这一固定分母上的平均任务分数。完全率计算聚合分数严格大于 $0.9$ 的任务；所报告排名中的并列，按未舍入分数的竞赛排名来解决。

#### 资源包络。

每个任务声明适合其科学工作流的处理器、内存、存储和挂钟限制。在整个基准上，智能体时限从 4 小时到 72 小时，中位数 7 小时。干净重放和评测者的限制与智能体的开发预算分开规定。十二个公开演示任务的确切限制见表 A5。

#### 试验记录。

每次试验都连到一个任务版本、智能体配置、提交的包、重放状态和逐叶判断。智能体运行时间、干净重放运行时间和评分时间分开记录。缺失的遥测保持缺失，而不被填补；基础设施失败与智能体未能产生可执行提交被区分开。

B.2 专家标注与发布复查

对每个任务，领域专家把目标主张映射到其源段落、图或表；固定模型配置、实验条件、可观测量、可接受的方法替代和所需证据；并把这些要求转换成可独立评分的量规叶子。公开说明、附录、环境和起始提交必须在任务范围和重放接口上一致。私有参考工作流、参考产物和评分容差不向智能体提供，而源论文中报告的值仍然可见。

私有参考工作流先被执行以确立可行性，再从最终环境的一份干净副本、通过与提交相同的入口重跑。代表成功、部分和无效复现的校准工作流被评分，以检查有支持的进展得到分数，无支持的主张得不到。然后两位独立领域专家复查科学范围、公平性、可复现性、证据要求和评分行为。对任务合同、环境、量规或评测者的更改，要求受影响的下游检查在发布前重复。

B.3 干净重放与证据评分

#### 提交快照。

规范入口是 bash/home/submission/reproduce.sh。交付之后，核验者记录提交的源码和所需输入，去掉生成的输出和可变执行状态，并从提交的包重建工作区。这防止缓存的或预先存在的结果文件被当作来自重放的证据。

#### 受控执行。

该包在私有评测资源不可访问、出站网络关闭、并强制任务特定限制的情况下执行。退出状态、计时、源码哈希和可用的执行来源被记录。这些记录确立一个产物是如何产生的；它们本身并不确立其科学内容是正确的。

#### 冻结的证据。

重放期间重新生成的产物被冻结为只读证据集。确定性检查覆盖可以直接测试的性质，例如所需路径、可解析的格式、单位、有限值、数值一致性、采样网格和任务特定容差。仿真器日志、原始数组、轨迹、收敛记录、派生指标和可视化，只有在能与当前重放和相关任务变体关联时才被采信。

#### 叶子判断与汇总。

每片量规叶子根据其标准、有效权重、相关重放产物和确定性检查结果来评分。需要领域解释的要求，由对每一种所报告配置都使用的同一个 GPT-5.6-sol 评测者判断。候选报告可以指出证据，但不能代替缺失或矛盾的产物。以叶子分数 $s_{i}$ 和有效权重 $w_{i}$，任务分数为 $R=\sum_{i}w_{i}s_{i}$，其中 $\sum_{i}w_{i}=1$。缺失的产物只影响依赖它的叶子；重放、基础设施和评测者的失败被分开记录。

B.4 回归与对抗检查

任务特定的回归测试实现第 3.3 节描述的校准步骤。它们把有效对照与故意损坏或不完整的提交配对，以测试评测者是否接受有支持的证据、拒绝无支持的主张，并把一次失败限制在依赖它的量规叶子上。表 A6 概括已发布核验者上使用的主要检查族。

表 A6：用来检查证据采信和局部评分的回归情形。有效对照伴随无效夹具，以免把允许的变异误认为无支持的证据。

十二个公开任务核验者行使这份合同的不同部分，包括数值解析、原生求解器证据、来源、缓存输出的去除，以及评测者拥有的记录。提示注入回归情形被包括进来，以检查嵌在候选报告、日志或结果字段里的指令能否改变量规或覆盖一次确定性检查。

附录 C 额外的结果诊断

C.1 任务完成

图 8 在任务层面分解聚合的完全率。对每个任务，它报告十种配置中任何一种取得的最好分数，以及超过操作性 $90\%$ 阈值的配置数。该图把完整复现的集中讲明确：71 个任务没有任何配置完成。

图 8：任务级完成图景。(a) 93 个任务上各自取得的最大部分分数，按研究领域排列。(b) 同一任务上超过 $90\%$ 的配置数。水平线标出操作性的完全复现阈值；71 个任务没有任何配置在它之上。

C.2 跨仿真器的轨迹案例

本节展开第 5 节讨论的轨迹例子。图 9 预览三个案例中发展出的阶段级对比。

图 9：三个轨迹案例中的阶段剖面。条形报告建模、执行和验证分数；菱形报告聚合任务分数。

#### 八单元智能手机多输入多输出（任务 1-1）。

该任务需要两个独立的八端口 HFSS 变体，并评测几何、求解器来源与收敛、匹配、隔离、效率、包络相关系数、增益、辐射方向图和表面电流。GPT-6-Astra 在 187 轮里得 $43.5\%$；Opus 5 在 450 轮里得 $41.3\%$。两者都重放原生 HFSS 工作流，并恢复若干隔离、包络相关系数、增益和电流标准。Opus 5 另外记录了五次和七次自适应通过，最终最大 $\Delta S$ 为 0.0063 和 0.0078，以及超过五十万四面体的独立网格。

两份提交都没有复现核心的四端口匹配目标。反射极小值和 3.45 GHz 处的值错过了所需窗口，基线和效率条件失败。GPT-6-Astra 还把一个关键长度表示成参考参数，而没有在模型里使用它。因此原生执行和在次要可观测量上的吻合，并不能确立论文的阻抗和效率主张。DeepSeek-V4.1-Flash 提供一个互补的效率例子：1,024 轮得到 $15.3\%$ 的分数。

#### F 形短截线超宽带多输入多输出（任务 1-4）。

该任务在 501 点扫描上评测普通、I 形短截线和 F 形短截线变体。如正文所报告，Fable 5 在 159 轮里得 $28.9\%$，GPT-6-Astra 在 464 轮里得 $27.4\%$，HY3 在 390 轮里得 $18.1\%$。Fable 5 完成全部三个原生变体，并恢复端口互易、辐射方向图和分集增益的证据，但三份提交都没有复现主要的 S 参数响应。这一比较支持第 5 节的有限结论：当模型或参数化仍然不正确时，更多交互不一定改进复现。

#### 偏振不敏感的铌酸锂绝缘体边缘耦合器（任务 4-5）。

这一工作流跨越 39 个 Lumerical 变体：有限差分本征模的端面模式、横电与横磁高斯重叠、几何与对准变体，以及四个耦合长度上的本征模展开扫描。Fable 5.1 在 111 轮里得 $73.1\%$，其次是 Fable 5 在 212 轮里的 $72.9\%$。Fable 5.1、Opus 5 和 GPT-6-Astra 都得到全部执行分数，确认在这一环境里完整重放是可以达到的。

其余错误是科学上的。Fable 5.1 超过了允许的双尖端横电重叠，Fable 5 超过了端面偏振相关损耗限制，GPT-6-Astra 尽管有完整的重放产物，本征模展开八百的横磁耦合只有 0.0474。Kimi-K3 的建模分数最高（$83.6\%$），但其本征模展开输出是非数。这些轨迹说明为什么中间检查重要：在全扫描之前，应当先核验一次端面求解、偏振与归一化，以及一个本征模展开情形。非数、缺失模式或不兼容的矩阵维度应当停止下游汇总。

#### 综合。

这些案例解释为什么建模、执行和验证要分开报告；它们是诊断例子，而不是跨任务的排名。