CLR-Bench：附录

CLR-Bench：附录

本文是《规则更多，名单更长？在隐藏规则课程上评测自进化智能体》的附录，原文同一篇，许可证为 CC BY 4.0。

附录 A 附录

表 4。隐藏类，每条链一行（第 1 到第 4 层）。TR：差旅审计，SY：药房审核，WS：网络安全，LG：系统日志，SP：赞助，CH：化学品进口，MN：原材料，SH：港口检查，UN：奖学金，GR：差旅资助。

译注：领域缩写同一条链的四层规则彼此累积，后一层不会取消前一层。 再说明一次：差旅审计看航段和机场，药房审核看病症与药物，网络安全看弱点和语言，系统日志看域名和端口，赞助看俱乐部和指数，化学品进口看物质和承运人，原材料看来源国和物料，港口检查看船旗和港口，奖学金看国籍和赞助方，差旅资助看大学和航司。这些名字都是网上公开发布的分组，不是模型临时编出来的属性。 表 4 的类名按原文保留，下面按链给出中文。CH1：斯德哥尔摩公约附件 A；英联邦成员；星空联盟航空公司；化学武器公约附表 3。CH2：化学武器公约附表 3；七国集团成员；寰宇一家航空公司；斯德哥尔摩公约附件 A。GR1：英联邦成员；星空联盟航空公司；欧洲研究型大学联盟成员；北约成员。GR2：申根区成员；星空联盟最初的五家航空公司；东盟大学网络成员；东盟成员。LG1：金砖国家成员国国家代码顶级域；Office LTSC 专业增强版 2021 的应用程序；微软服务器产品的端口分配；申根区成员国国家代码顶级域。LG2：经合组织成员国国家代码顶级域；微软生产力应用程序；明文应用协议端口；七国集团成员国国家代码顶级域。MN1：英联邦成员；星空联盟航空公司；钇组稀土元素；七国集团成员。MN2：七国集团成员；天合联盟航空公司；钇组稀土元素；二十国集团成员。SH1：七国集团；北约；记录在气候联盟成员城市中的港口位置；金砖国家。SH2：阿拉伯国家联盟；亚太经济合作组织；属于金砖国家的国家中的港口；欧洲经济区。SP1：欧洲杯和欧洲冠军联赛的冠军；欧元斯托克 50 指数成分；英联邦成员；2025 年国际足联俱乐部世界杯参赛者。SP2：G-14 成员俱乐部；道琼斯工业平均指数成分；欧盟成员；欧洲超级联赛创始俱乐部。SY1：上呼吸道炎症性疾病；女性生殖系统操作；附表 II 管制物质；感染。SY2：肌肉骨骼系统退行性疾病；子宫操作；细胞毒性药物；呼吸道炎症性疾病。TR1：星空联盟创始航空公司；石油输出国组织成员国的机场；金砖国家成员的货币；北约成员的航空公司。TR2：寰宇一家航空公司；欧洲经济区的机场；英联邦成员的货币；寰宇一家的创始航空公司。UN1：北约成员；东盟成员；纳斯达克 100 指数成分；二十国集团成员。UN2：经合组织成员；纳斯达克 100 指数成分；东盟大学网络核心成员；二十国集团成员。WS1：综合分类之加密（CWE-1402）；意大利语族；东盟成员；数值错误。WS2：SFP 主簇之入口点；欧盟官方语言；石油输出国组织成员；OWASP 2025 十大之 A09:2025，日志与告警失败。表 5 的字段名按原文保留：airline 航空公司，arrival airport 到达机场，currency 货币，condition code 病症编码，procedure code 操作编码，ingredient 成分，CWE 常见弱点枚举，page language 页面语言，host TLD 主机顶级域，TLD 顶级域，client application 客户端应用，port 端口，club 俱乐部，co-sponsor 联合赞助方，market country 市场所在国，substance 物质，exporter country 出口国，air carrier 航空承运人，origin country 来源国，carrier 承运人，material 物料，flag state 船旗国，owner country 船东国，port 港口，nationality 国籍，referee country 推荐人所在国，sponsor 赞助方，university 大学。括号里前一个数是取值全集的大小，后一个数是候选名单的份数。表 6 到表 11 的数值保持原表，条件名 Frozen、Self、History、lesson、convention、procedure、oracle 分别是冻结、只从反馈学习、原始历史、课文、约定、程序和类名预言机。Single 是单格准确率，incu 是未见成员被排除的比例，exc 是非成员被保留的比例，Acc 是准确率。

图 7。失败模式与成本（GPT-6-Luna，除非标成 +L，否则为只从反馈学习）。（a）单格如何失败。（b）通过的练习层，以及（c）练习输入 token 对单格准确率。

图 8。保持：规则 $j$（列）在第 $k$ 层（行）上被排除的未见成员（上）和被保留的非成员（下）。

表 5。十个领域：每个陷阱字段的取值全集规模和候选名单数。

表 6。条件：加到更新步骤（U）或求解提示（S）上的文本。

表 7。全部条件，GPT-6-Luna（百分比；$\Delta$：相对冻结智能体的变化）。没有加号的行只从反馈学习。†带一条格式说明（附录 A.3）。∗$m_{1}$ 在练习中被揭示；incu 只计 $m_{2}$。

表 8。加到更新步骤上的文本（GPT-6-Luna）；各列同表 7。中性标题：用 “UPDATE NOTE” 代替 “VERIFIED LESSON”。

表 9。其他基座模型（百分比）。冻结：每一层的准确率，以及高于阶梯的层级分数（共 80 个）。预言机：类名预言机。∗被评测的、也是起认证作用的模型。

表 10。两个基座模型（百分比）。除非标成 + lesson，方法只从反馈学习。†带一条格式说明（附录 A.3）。

表 11。每个领域的平均测试准确率（百分比，第 1 到第 4 层），每个领域两条链。+课文：带课文。课文在网络安全和药房审核上增加得很少。

A.1. 状态标注

对每一条链和每一层，我们取一种方法在练习完第 $k$ 层之后所持有的状态，并标注它对第 $k$ 层的标签说了什么。标注者（GPT-6-Luna，推理力度 high）看到字段、标签、隐藏类及其成员，以及练习中被揭示的取值，但看不到测试程序或分数。它分到七个类别之一：精确的类或一个等价描述；一个包含该类的更宽分组；另一个有名称的分组；一条属性规则（地区、国家、规模、名称模式）；只有练习中见过的取值；列出该类的大多数成员但不点名；或者没有可用内容。我们标注 1,280 份状态：ACE 和 Dynamic Cheatsheet 在 GPT-6-Luna 上只从反馈学习、带课文，以及有奖励的练习；在 GPT-6-Luna 上于中性标题下使用程序、约定和整篇课文；以及在 GPT-6-Sol 上只从反馈学习和带课文。每份状态随后被连接到由它在同一层写出的程序的取值级诊断。

A.2. 课文

• lesson 条件把下面这段文字，放在标题 “VERIFIED LESSON (correct, from the task designers)” 之下，追加到每种方法更新步骤的输入上；History + lesson 参照把它放进求解提示。这段文字对每一条链和每一层都相同，并且不点名任何类。它陈述一项约定（标签表示众所周知的、有名称的分组，而不是由属性定义的类别），以及一套使用证据的程序。

课文

当一层的规则作用于一个带标签的类，而报告只给出一个示例取值时，这个类是标签没有点名的现实世界类别：一个存在于该领域中的、有名称的分组，例如一个组织、一个联盟、一份官方名单或一种标准分类。反馈说另一个取值被当成和示例一样，而某个其他取值不是，这就告诉你它是哪一个类别：选择那个最广为人知的、包含示例和被确认取值、并排除被拒绝取值的有名称分组。不要从你在描述里读到的一种属性来构造类别，例如一个地区、一种政体、一种气候或一种规模。把那个类别的名称连同标签一起写进你的笔记。然后把规则用到报告所描述的、属于该分组的每一个取值上，只用每条描述来辨认这个取值是什么，并用你对该分组的知识来决定成员关系，包括从未出现在反馈中的取值，并留下不属于该分组的取值。在写代码之前，过一遍每一个被描述的取值，为每一个决定成员关系，并把完整的成员集合硬编码进去。

##### 课文的部分。

History + convention 使用课文的前三句（直到 “a climate or a size”）。History + procedure 使用：“When a level rule applies to a labelled class and the report gives only one example value, decide which class the example and the feedback point to and write it into your notes together with the label. Then apply the rule to every value the report describes that belongs to that class, including values that never appeared in feedback, and leave out values that are not in it. Before coding, go through every described value, decide membership for each one, and hard-code the complete member set.”

译注：原文在此处引用英文原句，用来规定 History + convention 截取到哪一句、History + procedure 使用哪一段。中文直译如下。当一层的规则作用于一个带标签的类，而报告只给出一个示例取值时，决定示例和反馈指向哪一个类，并把它连同标签一起写进你的笔记。然后把规则用到报告所描述的、属于该类的每一个取值上，包括从未出现在反馈中的取值，并留下不属于它的取值。在写代码之前，过一遍每一个被描述的取值，为每一个决定成员关系，并把完整的成员集合硬编码进去。约定部分截取到「一种气候或一种规模」。

A.3. 实现细节

所有方法都使用官方提示和算法，并填入与任务相关的占位符；冻结智能体使用同一个求解提示，但状态为空。一次练习尝试是一个提交的程序。Training-Free GRPO 在每次尝试之内抽取一组四个 rollout，并且和官方实现一样，只从结局混合的组里抽取经验。ReasoningBank 用一个本地的 sentence-transformers 模型，按嵌入相似度检索最靠前的记忆条目。EvoSkill 的技能库在最后几层可能超出上下文窗口；在那种情况下我们退回上一层的状态，并记下这次回退。在 + lesson 条件下，课文被追加到每一次更新输入上，其他什么都不改。历史参照向求解器展示到目前为止所有层上、每一个更早的练习程序及其反馈；类名预言机为每个标签加一行（“review queue B8 stands for: founding member airlines of Star Alliance”），并指示把每条规则精确地用到所点名分组的成员上。

##### GEPA 说明。

GEPA 把练习任务的每一个细节折进它演化出来的提示，包括练习所用的聚合（最大合计），这个聚合随后盖过测试任务（求和）。因此正文里的全部 GEPA 结果都在它的反思输入上追加一条固定说明：“Note on the policy: it will also be used for this level’s test task, which has the same records and rules but may ask for a different output (for example a different aggregation over the entities). Keep the policy about which records count and which rules apply; do not state the output aggregation or format, and let each task’s own instructions decide them.” 在显式反馈下，完全不带说明的原始 GEPA 达到 6.8% 的平均准确率（self），它的 160 个测试程序（self 和 + lesson）中有 137 个返回的是练习所用的聚合。一个说明把测试聚合当作例子给出的变体（“for example the sum over all entities instead of the largest total”）达到 50.8%（self）和 62.5%（+ lesson）；正文结果所用的中性说明达到 49.5% 和 66.0%。

译注：两条英文说明按原文保留。中文直译：关于策略的说明：它也将用于本层的测试任务，测试任务有相同的记录和规则，但可能要求不同的输出（例如对实体做不同的聚合）。保留关于哪些记录计入、哪些规则适用的策略；不要陈述输出的聚合或格式，让每个任务自己的指令来决定它们。变体例子的直译：例如对全部实体求和，而不是取最大合计。

A.4. 任务与反馈示例

摘自链 TR1 的第 1 层练习任务，以及对第一次尝试的反馈；那次尝试没有排除任何航空公司。

练习任务（节选）

已提交报销单上的每一个航段，都向提交该报销单的员工所属部门的合计计入一次。返回输入中各部门里最大的那个合计，类型为 int。

字段注释：

• 航空公司为 ’Lufthansa’ 的航段处于审核队列 B8。

字段注释里的每个标签都代表取值的一个现实世界类别；一条注释给出该类别的一名成员，标签的名称并不说出它是哪一个类别。

层级规则：

L1：从这一层起，处于审核队列 B8 的航段不计入。

取值参照：

• Air Canada -- 总部在加拿大的航空公司。
• ITA Airways -- 总部在意大利的航空公司。
• Thai Airways -- 总部在泰国的航空公司。
• United Airlines -- 总部在美国的航空公司。

…

对第 1 次尝试的反馈（节选）

错误。你的提交在下面这个输入上给出错误结果，它是隐藏测试输入之一。

…

与示例输入相比，这个输入只在以下方面不同：segments.airline：一个取值 ’Air Dabia’ 被替换成 ’Thai Airways’；segments.airline：一个取值 ’Air Burkina’ 被替换成 ’ITA Airways’。

’Thai Airways’ 属于审核队列 B8，和 ’Lufthansa’ 一样，因此带这个取值的记录不计入。

’ITA Airways’ 不属于审核队列 B8，因此带这个取值的记录仍然计入。