REGATTA：设计阶段说该暴露的故障，执行时经常不是

REGATTA：一个面向企业人工智能智能体的跨领域测量框架，以及用于故障注入的测试架

Luong Tuan Thanh 隶属机构：美国加利福尼亚州旧金山，金门大学 tluongtuan@my.ggu.edu Abhijit Sanyal 隶属机构：印度海得拉巴，诺华医疗私人有限公司，数据、数字与信息技术 abhijit.sap@gmail.com

摘要

企业 AI 智能体评测需要证据，说明测试套件是否暴露了被指定的故障，以及它们所依据的参考规则是否可信。我们提出 REGATTA（Regulatory Evaluation of Agents via Two-stage Testing and Assurance，经由两阶段测试与保证对智能体做监管评测），一套带有三件工具的测量框架。一份 125 项、逐条标注出处的检查清单，覆盖美国与越南的五个「行业 × 辖区」格子。一份 25 个故障的语料覆盖五个类别，测试架则在设计阶段与执行阶段为套件级故障检出打分。我们在来自三个 LLM 生成器的 180 套生成套件（5,400 个场景）上检验四项测量诊断。出处审计发现：24 项误述了现行规则，另有 46 项引用缺陷，31 项只有不具约束力、无法识别或无法核验的来源，24 项被核验为干净。只有最初被标出实质问题的条目接受了作者复核；全部 24 行干净条目只接受了 AI 复核。因此，结果描述的是这些工具写成的样子，而不是法律合规。条目覆盖并不均匀，执行阶段的故障剖面在各生成器之间保持稳定，历史的两个阶段在 $66$–$69\%$ 的故障–套件对上一致。一次使用当前模型、针对美国保险格子的复测发现，阶段分歧高于重复执行带来的变异，但阶段一致率 $.536$ 低于合并后的机会水平 $.549$，未能满足 V3 的下界不等式。一名专家的盲法裁定支持设计阶段的评判协议（$\kappa=.72$，95% 区间 $[.52,.88]$）；40 次当前模型的执行探针给出 $\kappa=.75$。这些工具、审计结果和可复用代码均已发布。

索引词：生成式 AI 智能体测试、故障注入、LLM 评测、AI 治理、测量诊断

I 引言

银行、保险机构和医院需要证据，证明智能体测试能够针对具体义务暴露失败。AgentBench [1] 和 $\tau$-bench [2] 这类智能体能力套件测量的是任务成功与策略遵循，但这些分数并不能确立一套套件相对于某一辖区已陈述规则是否充分。NIST 人工智能风险管理框架要求可测量的保证证据 [3]。越南《人工智能法》直到 2026 年 3 月 1 日才生效，它要求高风险 AI 系统在部署前接受符合性评估，并把这类系统的清单留给总理确定 [4]。

一个场景可以提到某条规则，却并不暴露正在运行的智能体的违规。本文研究的就是这一缺口，并把它包装为 REGATTA（Regulatory Evaluation of Agents via Two-stage Testing and Assurance），同时附带对这些工具自身法律出处的审计：

REGATTA 把套件级覆盖、预测的故障暴露、执行观察，以及条目级的法律出处审计结合在一起。它的贡献是这套测量协议，以及在五个格子上对其各阶段的比较，建立在基于变异的测试充分性和随机智能体测试之上。审计要求在法律用途之前先修正 C1 和 C2。我们考察的是操作性质，而不是普遍有效性标准，也不是哪一种生成策略更优。盲法专家复核针对的是原来的设计／覆盖协议，以及同一名专家对 40 次当前模型执行探针的复核；第二家供应商的评判器提供敏感性检查（§V-F）。

II 相关工作

II-A 智能体基准

AgentBench 测量交互式任务完成 [1]；$\tau$-bench 还测试领域策略遵循和重复运行的可靠性 [2]。AgentHarm 测量对有害请求的易感性 [7]，LegalBench 主要测试美国法律推理 [8]。AIR-Bench 从法规和政策中导出安全类别 [9]。这些工作确立的是：以策略为根据的评测本身并不新。

变异测试用植入的缺陷给套件打分 [5]。ACH 针对特定关切的程序变异体生成测试 [10]。ToolEmu 使用 LLM 仿真的沙箱和自动安全评价器来识别智能体失败，并对仿真器与评价器做人工检查 [11]。REGATTA 更窄的焦点，是对按提示配置的故障做配对的预测暴露与观察暴露，同时审计带出处引用的工具。与受控的变异体比较不同，它并不把变异效应从普通失败或故障交互中分离出来。

II-B 治理框架与企业评测

NIST AI RMF 组织人工智能风险管理 [3]，而 GoldMine OS 为另类资产交易提出一种智能体架构 [12]。ShieldAgent 用可核验的推理，对照显式安全策略检查动作轨迹 [13]。AgentSpec 提供可执行的运行时约束 [14]，与语义评判互补。REGATTA 考察的是场景套件的充分性；这些系统的评测单元不同，因此它们的分数不是数值基线。策略 S3 和 S4 的本体结构化上下文遵循 [15]。

III REGATTA 框架

图 1 把带出处引用的需求陈述（C1）、植入的故障描述（C2）和评分程序（C3）分开，使每一件都可以独立扩展。证据向量概括套件行为，供随后的保证过程使用；它不是一条部署决策规则。

图 1：REGATTA 架构。法律来源和故障分类体系被整理成两件静态工具（C1、C2；虚线箭头：一次性整理，由出处审计检查）。两阶段测试架（C3）为任何测试套件 $T$ 打分，套件可以是生成的（S1–S4），也可以是人工编写的，并输出一个证据向量，供部署平台中的治理复核使用 [3]。RC：需求覆盖；FDR d、FDR e：设计阶段与执行阶段的故障检出率；ISS：行业特异性（1–5）；AC：对抗类别覆盖。

一个格子 $c=(d,j)$ 把一个行业领域与一个辖区配成一对，并提供一个需求集合 $R_{c}$（$|R_{c}|=25$）和一个故障集合 $F_{c}$（$|F_{c}|=5$）；一个测试套件 $T=\{s_{1},\dots,s_{n}\}$ 是一组场景（全文 $n=30$）。三个二元评判函数——温度 $0$ 下的固定量表——产生检出测量：$J_{\mathrm{RC}}(s,r)$ 询问场景 $s$ 是否测试需求 $r$；$J_{D}(s,f)$ 询问按规格写出的 $s$ 是否应当暴露故障 $f$；$J_{E}(\pi_{F_{c}}(s),f)$ 询问注入了该格子故障的智能体，其响应 $\pi_{F_{c}}(s)$ 是否真的使 $f$ 显现。套件级测量是对场景取最大值，再归一化成比率：

$$\mathrm{RC}(T)=\frac{1}{|R_{c}|}\sum_{r\in R_{c}}\max_{s\in T}J_{\mathrm{RC}}(s,r),$$

$$\mathrm{FDR}_{d}(T)=\frac{1}{|F_{c}|}\sum_{f\in F_{c}}D(T,f),$$

$$\mathrm{FDR}_{e}(T)=\frac{1}{|F_{c}|}\sum_{f\in F_{c}}E(T,f),$$

其中 $D(T,f)=\max_{s\in T}J_{D}(s,f)$，$E(T,f)=\max_{s\in T}J_{E}(\pi_{F_{c}}(s),f)$。带故障的智能体 $\pi_{F_{c}}$ 在温度 $0.3$ 下采样，因此 $E(T,f)$ 内部的每一次探针都建立在一次智能体抽样之上（第 V-D 节报告一次复测）。这些是受变异测试启发的故障暴露测量：设计预测暴露；执行记录的是在联合故障注入下、由评判器评估的暴露。没有未修改智能体作为对照，两者都不能分离出变异效应。它们的差是该套件的阶段分歧，$\Delta(T)=\mathrm{FDR}_{d}(T)-\mathrm{FDR}_{e}(T)$，测试架把它作为一等量报告，而不是当作干扰项。另外两项协议给行业特异性（ISS，$1$–$5$）和对抗类别覆盖（AC）打分；两者都进入证据向量，V4 审计它们的区分度。在套件总体 $\mathcal{T}$ 上，每条需求有一个经验覆盖率 $\delta(r)=\mathbb{E}_{T\in\mathcal{T}}[\max_{s\in T}J_{\mathrm{RC}}(s,r)]$——低 $\delta$ 的条目构成检查清单的难尾——两个阶段有一个一致率 $\alpha=\Pr[D(T,f)=E(T,f)]$，取自故障–套件对，机会基线为 $\alpha_{0}=pq+(1-p)(1-q)$，其中边际检出率 $p=\Pr[D{=}1]$，$q=\Pr[E{=}1]$。对一个测量 $m$，策略间极差为 $\rho_{m}=\max_{\sigma}\bar{m}(\sigma)-\min_{\sigma}\bar{m}(\sigma)$，对生成策略 $\sigma$ 取。

四项测量诊断（V1–V4）是评测问题。每一项都把一个程序连到它的结果；V1 和 V4 仍然是描述性的，因为它们的实用阈值没有事先固定。

IV 工具

评判规则与提供给生成器的本体上下文分开整理；语义重叠和共用的模型辅助仍可能引入相关误差。表 I 中的格子覆盖美国和越南。

表 I：检查清单格子，以及运行时引用的主要来源（每格 25 项）。

V 验证与发布

V-A 设置

我们生成了 180 套、每套 30 个场景的套件（5,400 个场景）：四种策略 $\times$ 五个格子 $\times$ 三次重复，每一次都是独立生成的套件（温度 $0.3$）。三个生成器各产出 60 套：Claude Sonnet 4（前沿；同时也是评判器和带故障的智能体）、Qwen 2.5 72B Instruct（72B），以及 Gemma 4 26B-A4B IT（26B）。这些策略是：最小上下文（S1）、商业仿真器所使用的人格矩阵提示（S2）、在非结构化本体文本上检索（S3），以及结构化本体接地（S4）[15]；没有任何分析去检验哪一种更优。一个带故障的智能体通过单轮场景被调用，因此检验的是生成器不变性（V2），而不是智能体不变性。执行阶段剖面和阶段一致率可能随另一个智能体而移动，§V-D 的复测开始在一个格子上探测这一点。

V-B 检查清单难度散布（V1）

在生成器之间做等权合并后，平均条目覆盖 $\delta$ 为 $.34$（中位数 $.28$，标准差 $.31$）：5 个条目被超过 90% 的套件覆盖，60 个被不到四分之一的套件覆盖，22 个没有任何套件覆盖。从未被覆盖的尾部位于消费者保护披露（APR、adverse action）、审慎比率（CET1、LCR、DTI）和行政义务，处在所有策略都能到达的反洗钱与隐私核心之外。按格子看，平均覆盖从 $.28$（Insurance US）到 $.42$（Banking VN），因此在这个样本里没有格子饱和（V1）。Fintech 几乎是双峰的，25 项里有 12 项在两种评判器下都从未被覆盖。它的合并检出从设计到执行下降（$.56\rightarrow.34$），而两个越南格子都上升（$.48\rightarrow.58$、$.41\rightarrow.56$），因此结果应当按格子来读。

V-C 故障可检出性剖面（V2）

表 II：故障类别检出率：设计阶段 $\rightarrow$ 执行阶段，按生成器模型（每个类别五个故障）。

缺失法规类故障在执行阶段接近天花板（$.95$–$.98$；表 II）：当一项被强制要求的能力缺失时，几乎任何切题场景都会把它暴露出来。对抗故障在全部三个生成器下都从设计塌缩到执行（$.67\!\rightarrow\!.20$、$.30\!\rightarrow\!.17$、$.70\!\rightarrow\!.28$）。套件里含有应当探测这一弱点的场景，但跑起来时这些场景很少触发它。指标错误类故障则反过来：按设计很难覆盖（$.18$–$.22$；在 GPT-4o 下至多 $.28$），它们在执行时显现（$.38$–$.43$），因为一次错误计算会泄漏进无关的响应。在执行阶段，前三名的顺序（缺失法规 $>$ 阈值 $>$ 指标）在全部三个生成器下相同，角色边界和对抗故障构成地板一对（每一个比率 $\leq.35$），在这个样本里满足 V2 的排序诊断。设计阶段的顺序有变化（72B 在两种评判器下都把指标和角色对调）。

V-D 阶段非冗余（V3）

设计与执行的裁定在故障–套件对上的分歧为 $32.3\%$（前沿）、$30.7\%$（72B）和 $33.7\%$（26B）。对照由每个生成器边际检出率得到的机会基线（$\alpha_{0}=.499$、$.493$、$.499$），一致率为 $\alpha=.677$、$.693$ 和 $.663$。其 95% 区间在格子内对套件重抽样（10,000 次），并保持故障在一起：$[.63,.72]$、$[.66,.73]$ 和 $[.62,.71]$，相对 $\alpha_{0}$ 的边际跨度为 $[.13,.22]$、$[.17,.23]$ 和 $[.12,.21]$。这些超过了合并的 V3 基线；按故障的结果更弱。按故障的基线（$.648/.653/.646$）只以很小的边际被超过（$+.029/+.040/+.017$）。它们的区间对前沿和 72B 不含零，但对 26B 含零（$[-.008,.038]$），因此大部分阶段一致跟踪的是故障难度。

执行噪声可以解释一部分历史分歧：每一次裁定只用了温度 $0.3$ 下的一次智能体抽样，而且没有保存响应。一次当前模型复测使用 Claude Sonnet 4.6 作为带故障的智能体和评判器，测试架保持冻结。一条在研究之前固定的规则选择了美国保险：36 套已有套件，180 个故障–套件对，一次同一窗口内的设计重扫，以及两次执行抽样，全部输出都保留。这不是对原始模型的重新测量。该格子使用的是模型法案、内部政策和技​​术参考规则；它并不确立对某一州已颁布法律的合规。

表 III 显示阶段分歧超过执行变异，满足 V3 的上界不等式。阶段一致率 $.536$ 低于合并机会水平 $.549$，因此下界不等式失败。对照按故障的基线 $.522$，边际 $.014$ $[-.019,.046]$ 也没有确立正相关。对预先登记的读法 A 的解释，在分析之后被收窄为「超额的阶段分歧」，而不是 V3 的完全满足。分析后的附录 3（2026 年 9 月 28 日）记录了这一收窄，但没有改变预先登记的估计量或读法规则 [18]。重扫与 180 条历史裁定中的 143 条相配（$.794$），把模型更换和评判方差混在一起；没有严格解析失败。

表 III：美国保险格子上的当前模型验证。第 1–3 行使用 180 个匹配的故障–套件对；第 4 行使用 7,816 次探针；第 5 行使用 40 次平衡探针。95% 区间：在生成器内做 10,000 次套件自助法抽样，保持故障和两次抽样在一起（第 1–4 行）；按裁定分层的自助法（第 5 行）。

图 2：按生成策略（S1–S4，§V）和生成器模型划分的设计阶段对执行阶段故障检出率（FDR），由原始评判器打分。

分歧的方向取决于生成器（图 2）。在原始评判器下，对前沿生成器，每一种策略的执行分数都低于其设计分数；对 72B，执行分数都高于设计分数；26B 则符号混杂。前沿生成器符号一律相同这一点，在 GPT-4o 的设计裁定下并不成立。合并的 $\Delta$ 为 $+.09$ $[.05,.13]$、$-.17$ $[-.21,-.12]$ 和 $+.04$ $[-.01,.09]$，每一个合并阶段比率都已知到 $\pm.04$ 以内。对一道部署门来说，$\mathrm{FDR}_{e}$ 是起作用的证据，也就是一套套件在一个正在运行的智能体里暴露出来的植入故障，而 $\Delta(T)$ 是只做设计复核会把这一证据误述多远。两者关心的都是一种智能体配置里的植入故障，而不是生产环境中的违规率。

V-E 策略区分（V4）

表 IV：策略间分离 $\rho_{m}$（四种策略上套件级均值的极差），按测量和生成器模型。

每一项核心测量在每一个生成器下都显示出观察到的分离（表 IV）：覆盖相差 14–16 个百分点，特异性相差 $.24$–$.53$ 个李克特点，检出率相差 $.08$–$.20$。这些极差是描述性的：没有不确定区间，也没有预先指定的下限，V4 不是推断性验证。对抗类别覆盖很弱：在前沿和 26B 生成器下，四种策略都接近饱和那六个类别的分类体系，因此它需要更细的类别。

V-F 评判器一致

一名至少有 10 年经验的金融专家，对来自已保存裁定的 75 对做了盲法裁定（全部五个格子，两套开源权重生成器的套件），回答的是评判器自己的问题，不使用 AI 工具。第一作者誊写了这些答案。设计阶段：50 个故障–场景对，25 个经由已保存的检出场景被评判器判为检出，25 个被判为未检出，每一对都可以通过扫描的提前退出语义恢复裁定。一致率为 $.86$（Cohen 的 $\kappa=.72$；95% CI $[.52,.88]$，来自两个裁定层内的自助法）。全部七处分歧都朝一个方向：评判器记为检出、专家拒绝，典型情形是场景碰到了故障的话题，却没有迫使错误行为与正确行为在可观察上不同。没有任何被评判器判为未检出的对子被推翻。这个样本提示设计评判偏宽，这会夸大从设计到执行的下降，并低估上升；它并不确立检出率在总体范围上的上界。该专家还审计了 25 对被评判器判为未覆盖的需求——从未覆盖尾部分析所依靠的那一类裁定——并确认了全部 25 对（精确 95% 下界 $.86$）。这支持的是被抽样的阴性，而不是整条难尾。这些检查没有提供独立的专家间一致估计。同一名专家在盲法且无辅助的条件下评估了 40 次复测探针（20 次评判阳性，20 次评判阴性）：一致率 $.875$（表 III）。全部五处分歧都是评判阳性／专家阴性。一个单独的两名专家讨论小组返回了相同裁定；小组的个人标签没有提供。这些平衡样本上的比率不是总体准确率。一次 AI 辅助复核被排除在人工检查之外。

OpenAI 的 GPT-4o（gpt-4o-2024-11-20）在温度 $0$、字节相同的提示下，对全部 180 套重新打了覆盖、设计阶段检出、AC 和 ISS。对照原始评判器，它在覆盖条目上的原始一致率为 $.862$、$.890$ 和 $.875$（$\kappa=.705$、$.647$、$.723$），分别对应前沿、72B 和 26B 套件。在设计阶段裁定上为 $.897$、$.843$ 和 $.873$（$\kappa=.789$、$.666$、$.746$）。机会校正后的一致率在 ISS 上更低（二次加权 $\kappa=.42$–$.62$），在 AC 上也更低，而 AC 在两个生成器下接近天花板（$\kappa=.23$–$.64$，原始一致率 $.84$–$.96$）。用它的裁定重新计算（对 V3，用它的设计裁定对照原始执行裁定），V1 和 V4 保持它们的描述性模式。混合评判器的 V3 超过合并基线和按故障基线，但把评判器差异和阶段差异混在一起；原始 26B 的按故障区间跨过零。GPT-4o 在覆盖上更严（合并均值 $.25$，对照 $.34$），但对条目难度的排序相似（Spearman $.90$）。V2 依靠执行裁定，而已发表运行里只有原始评判器打过这些分。在 7,816 次保存的复测探针上，GPT-4o 与 Sonnet 4.6 的一致率为 $.986$；它的 $\kappa$ 区间（表 III）在预先登记的阈值下给出一个中间结果。GPT-4o 使用预先登记的代码围栏去除；严格解析不改变这一分类。两名评判器把 7,617 次探针标为阴性，抬高了原始一致率。在 40 次探针的专家样本上，GPT-4o 有 31 次一致（$\kappa=.50$）。这项检查跟随 Sonnet 的提前停止扫描，每个类别覆盖一个故障；它评估的是评判器一致，而不是 V2 的排序。

V-G 评测成本

一套 30 个场景的套件至多花费 $1{,}110$ 次评判调用（$750$ 次 RC，$60$ 次 ISS 和 AC，$150$ 次设计阶段，$150$ 次执行）和 $150$ 次智能体调用。扫描在第一次成功时停止，因此套件质量越高，实际成本越低。每个故障、每个场景都取一次新的智能体响应，使五次裁定不共用同一次抽样。

V-H 可得性与扩展

研究档案（v1.1）[17] 包括全部 5,400 个被恢复的场景、工具和出处审计、改编后的代码、选定的原始裁定、4,313 条设计判断、7,816 次掩码后的执行探针，以及 40 条去标识的人工标签。研究代码使用 MIT 许可证；工具和派生数据使用 CC BY 4.0。离线检查复现了 2,835 个原始描述性参考值和 83 个选定的当前模型值；清单写明了排除项。历史智能体响应和保留集成员资格没有被保留。§V-D 的复测保留了它的响应和裁定，但掩码改变了提示字节。并不声称可以精确重放。一个新格子遵循六步协议。枚举起管辖作用的来源；整理 25 条可观察地加以测试的义务并附引用；编写五个带有真值和检出机制的故障；对照现行工具审计每一条引用；原样运行测试架；并重新检查诊断 V1–V4。

VI 结论

REGATTA 在带出处引用的检查清单和被指定的故障之上提供一套测量框架。四项诊断考察覆盖散布、剖面稳定性、阶段一致和策略分离。在 180 套套件上，V1 和 V4 显示出描述性变异，V2 的执行剖面排序在被测试的生成器之间稳定。历史阶段一致超过合并机会水平，但原始 26B 的按故障边际跨过零（$[-.008,.038]$）。在 Sonnet 4.6 复测中，$.536<.549$ 使 V3 的合并下界不等式失败；按故障边际 $.014$ $[-.019,.046]$ 也跨过零。超额阶段分歧仍然为正，读法 A 在事后被收窄到这一结果 [18]。盲法专家检查和第二供应商检查限定了评判不确定性。这些证据关心的是本协议下被指定的故障，而不是法律合规。在实际保证用途之前，需要修正出处并做独立复核。

五项局限框定了这些结果的范围。第一，评测依赖基于 LLM 的评判，并由一名专家检查。该专家的复核在设计阶段判断上给出 $\kappa=.72$（95% CI $[.52,.88]$），并维持了全部 25 条被审计的覆盖阴性；40 次当前模型执行探针给出 $\kappa=.75$，没有独立的专家间估计。因为已发表运行没有保存智能体响应，它们的执行裁定无法根据发布物重新裁定。第二，只调用了一个带故障的智能体，通过单轮场景，并且一个格子的全部故障一次注入，因此执行阶段结果（V2、V3）未必迁移到其他智能体。工具集也仍然相对小，每个格子五个故障、25 条需求。这一分辨率便于抽样一个辖区的义务，而不是提供穷尽覆盖；部署用途需要修正后的规则、经独立验证的预言机，以及有外部根据的决策阈值。第三，真值由作者整理，并且没有通过它自己的审计：125 项里有 24 项误述现行规则，45 项依靠不具约束力或无法识别的来源，而且没有律师复核这次审计。所报告的测量描述的是工具写成的样子，而不是对法律的陈述。第四，存在评判器–生成器亲和的可能，因为有一个生成器与评判器来自同一供应商，这可能导致表 II、表 IV 和图 2 中该模型的分数被抬高。同一供应商的模型还帮助起草了这些工具，这是亲和的第二条路径。最后，对抗分类体系在三个生成器中的两个下面似乎饱和，实际上只在第三个下面把策略分开。

未来工作将包括：在法律用途之前与领域专家一起修正这些工具，取得独立的多专家执行标签，并把重复执行和第二评判器检查扩展到一个格子之外。在这些步骤之后，将用预先指定的阈值评估更密的故障集、更多辖区，以及更细的对抗类别。

生成式 AI 使用致谢

生成器、带故障的智能体、两名评判器（Claude Sonnet 4、GPT-4o），以及复测中的 Claude Sonnet 4.6，都是研究对象。Claude 模型（Anthropic）[19] 协助了初始检查清单条目、故障记录和本体段落（第 IV 节），以及分析代码（第 V 节）。Claude 和 Codex 协助起草并修改了第 I–VI 节中的段落。作者开展了研究和评测，复核了工具草稿并修改了文稿，并对所报告的工作负责。一次 Claude 智能体会话在作者监督下设计、执行并分析了复测（§V-D）。Codex（OpenAI）运行了 GPT-4o 执行检查，整合了结果，并检查了修改后的文稿构建；一次 Codex ScholarPeer 评审也为相机就绪修订提供了信息。AI 智能体（Claude Opus 5.5）执行了出处审计；第一作者复核了每一行被标出的实质错误，用一个 AI 搜索工具（Claude Opus 5.5）定位来源，并在阅读之后逐条决定。三个运行在 Claude Opus 上的 AI 评审智能体（ScholarPeer、PaperViz，以及一个风格审计智能体）对草稿作了评论。§V-F 的主要裁定者没有使用 AI 工具；第一作者誊写了答案。

参考文献

• [1] X. Liu、H. Yu、H. Zhang、Y. Xu、X. Lei、H. Lai、Y. Gu、H. Ding、K. Men、K. Yang、S. Zhang、X. Deng、A. Zeng、Z. Du、C. Zhang、S. Shen、T. Zhang、Y. Su、H. Sun、M. Huang、Y. Dong 与 J. Tang。「AgentBench：把 LLM 当作智能体来评测」。Proc. Int. Conf. Learning Representations（ICLR），2024，第 52,989–53,046 页。
• [2] S. Yao、N. Shinn、P. Razavi 与 K. Narasimhan。「$\tau$-bench：真实世界领域中工具–智能体–用户交互的基准」。Proc. Int. Conf. Learning Representations（ICLR），2025，第 9965–10,017 页。
• [3] National Institute of Standards and Technology。「人工智能风险管理框架（AI RMF 1.0）」，NIST AI 100-1，美国商务部，2023。
• [4] 越南国会。「人工智能法，法律第 134/2025/QH15 号」。2025 年 12 月 10 日通过；2026 年 3 月 1 日生效，2025。
• [5] Y. Jia 与 M. Harman。「变异测试发展的分析与综述」。IEEE Transactions on Software Engineering，第 37 卷，第 5 期，第 649–678 页，2011。
• [6] L. Zheng、W.-L. Chiang、Y. Sheng、S. Zhuang、Z. Wu、Y. Zhuang、Z. Lin、Z. Li、D. Li、E. P. Xing、H. Zhang、J. E. Gonzalez 与 I. Stoica。「用 MT-Bench 和 Chatbot Arena 评判 LLM-as-a-judge」。Advances in Neural Information Processing Systems 36（NeurIPS），Datasets and Benchmarks Track，2023，第 46,595–46,623 页。
• [7] M. Andriushchenko、A. Souly、M. Dziemian、D. Duenas、M. Lin、J. Wang、D. Hendrycks、A. Zou、Z. Kolter、M. Fredrikson、Y. Gal 与 X. Davies。「AgentHarm：测量 LLM 智能体有害性的基准」。Proc. Int. Conf. Learning Representations（ICLR），2025，第 79,185–79,220 页。
• [8] N. Guha、J. Nyarko、D. E. Ho、C. Ré、A. Chilton、A. Narayana、A. Chohlas-Wood、A. Peters、B. Waldon、D. N. Rockmore 等。「LegalBench：一个协作构建的基准，用于测量大语言模型中的法律推理」。Advances in Neural Information Processing Systems 36（NeurIPS），Datasets and Benchmarks Track，2023，第 44,123–44,279 页。
• [9] Y. Zeng、Y. Yang、A. Zhou、J. Tan、Y. Tu、Y. Mai、K. Klyman、M. Pan、R. Jia、D. Song、P. Liang 与 B. Li。「AIR-Bench 2024：一个基于法规和政策所指定风险类别的安全基准」。Proc. Int. Conf. Learning Representations（ICLR），2025，第 63,997–64,031 页。
• [10] M. Harman、J. Ritchey、I. Harper、S. Sengupta、K. Mao、A. Gulati、C. Foster 与 H. Robert。「Meta 上由变异引导的、基于 LLM 的测试生成」。Proc. ACM Int. Conf. Foundations of Software Engineering，Industry Track，2025，第 180–191 页。
• [11] Y. Ruan、H. Dong、A. Wang、S. Pitis、Y. Zhou、J. Ba、Y. Dubois、C. J. Maddison 与 T. Hashimoto。「用一个由 LM 仿真的沙箱识别 LM 智能体的风险」。Proc. Int. Conf. Learning Representations（ICLR），2024。
• [12] A. Borjigin、C. He、C. C. Lee、W. Zhou 与 C. Y. Song。「用于另类资产去中心化交易的 AI 智能体架构」。Proc. IEEE Int. Conf. Recent Advances in Systems Science and Engineering（RASSE），2025，第 1–8 页。
• [13] Z. Chen、M. Kang 与 B. Li。「ShieldAgent：经由可核验的安全策略推理为智能体加盾」。Proc. Int. Conf. Machine Learning（ICML），第 267 卷，2025，第 8313–8344 页。
• [14] H. Wang、C. M. Poskitt 与 J. Sun。「AgentSpec：为安全、可靠的 LLM 智能体提供可定制的运行时强制」。Proc. IEEE/ACM Int. Conf. Software Engineering（ICSE），2026，第 2938–2950 页。
• [15] T. T. Luong 与 A. Sanyal。「企业智能体系统中受本体约束的神经推理：面向领域接地 AI 智能体的神经符号架构」。arXiv 预印本 arXiv:2604.00555，2026。
• [16] 越南国会。「反洗钱法，第 14/2022/QH15 号」，2022。
• [17] T. T. Luong 与 A. Sanyal。「REGATTA ICoDSE 研究产物」，版本 1.1.0，Zenodo，2026，doi: 10.5281/zenodo.23006005。
• [18] T. T. Luong 与 A. Sanyal。「REGATTA 复测预注册：分析后附录 3」，2026 年 9 月 28 日，随附的补充协议记录。
• [19] Anthropic。「Claude」，产品文档。访问日期：2026 年 10 月 2 日。[在线]。可得：https://claude.com/product/overview