开卷仍不到九成：蚂蚁国际用 BenchCompass 把支付失败拆成三种信号

开卷仍不到九成：蚂蚁国际用 BenchCompass 把支付失败拆成三种信号

BenchCompass（蚂蚁国际的支付领域诊断基准，用来区分「不会规则、不会用给到的证据、还是被改过的题面带偏」）于 2026-09-16 提交到 arXiv，编号 2609.18270，许可证是 CC BY 4.0。论文首页另写 September 17, 2026。作者单位是 Ant International，通讯邮箱在 ant-intl.com。数据和代码放在 https://github.com/ant-intl/BenchCompass。

它测的是支付运营，不是泛金融问答，也不是检索系统或会调工具的智能体。

同一题要在三种输入下看

Closed 只给题目，看参数里有没有支付知识。Open 再给足够的支付证据，看能不能按证据做题。Attacked Open 仍是开卷，但题面和上下文可以夹进无关、过期、冲突、顺序差或差一点就适用的信息。扰动后的题必须仍支持原来的参考答案，改了答案路径的扰动会被丢掉。

这里的 harness 只指单次模型调用周围的输入和校验：选哪些上下文、怎么打包和排序、提示怎么框、规则是否适用。论文明确不评端到端检索、工具型智能体或多智能体拆解。

诊断信号打在「模型–题目」对上，同一题对不同模型可以是不同失败。基础题比较 Closed 和 Open：

• 两边都对，记 Parametric Known，意思是参数里已经有这条知识，后续要盯规则漂移。
• 闭卷错、开卷对，记 Context Rescued，补上下文就能救回来。
• 两边都错，记 Context-Use Gap，证据够了仍然不会用。
• 闭卷对、开卷错，记 Context Interference，上下文反而把对的答案打坏。

攻击题单独看：扰动后仍对是 Perturbation Robust，扰动后错是 Perturbation-Brittle。表里的修复假设只是假设，论文把配对实验留给以后，没有声称已经验证每一种干预。

题从版本化文档里长出来

流水线把一份带版本的支付文档快照切成带审计信息的 Markdown 块，记下来源类别、标题路径、位置和规则或章节编号。来源覆盖钱包、收单、清算、卡组织、监管、平台及相关支付文档。生成前用 DeepSeek V4 Pro 给每块做语义画像：可测的规则、能支撑的 Bloom 层级、可能的支付场景。证据包按可检查的关系把主块和支撑块连起来，关系包括相邻章节、共用规则编号、文档族、支付系统、币种和画像角色。

难度用修订版 Bloom 分类的 L1 到 L5。L1 是支付知识，L2 到 L5 分别是理解、应用、分析，以及例外或优先级判断。L6 的开放创作没有稳定参考答案，不做。场景库有 60 个固定框架，12 类支付来源各 5 个，包括结算、合规审查、争议、产品设计、政策解释、报文迁移、准入、资金操作和流动性管理。DeepSeek V4 Pro 按 Bloom 目标、证据包和场景框架生成结构化 JSON。缺答案、原文引用、选项或评分细则的候选直接丢弃。L1 叫 Payment Knowledge，L2–L5 叫 Context-Grounded Reasoning。

攻击只从「开卷能做对」的 L2–L5 种子出发，保证原来就有一条有出处的答案路径。生成器做保持答案不变的改写。改变原答案、拿掉证据路径或让评分细则变模糊的扰动会被拒绝。自动门只做分拣，不代替最终分数。

专家准入，而不是模型自己说了算

自动门检查格式、证据是否够、能否作答、是否含糊、细则是否公平、有没有诊断价值，以及攻击后是否仍然有效。领域门会丢掉或改写那些不再依赖支付参与方、状态、通道、报文字段、清算结算概念或监管范围的题。

四名支付从业者先共同看 30 道校准题，每个子集 10 道，对齐题目和细则是否有效、裁判是否正确、出处、领域特异性、诊断价值、重复和攻击有效性。这是校准，不是全库一致性。其余候选分成四份互不相交的子集，每人独立看一份，再合并裁决。Gemini 3.1 Pro、GPT-5.5 或 Claude Opus 4.7 在开卷上做错的题，再由两名专家复核。只有没有未决问题的题进入 Pro。含糊、诊断弱、重复、出处不稳或有缺陷的题留在旁边。Normal 池标成低保证，只供检查和以后整理，头条结果一律不用它。

自动过滤和去重后，506 道进入专家评审，306 道进入 Pro，比例 60.5%。另抽 60 道（每个子集 20 道）盲复审，二元一致 57/60，也就是 95.0%，Cohen’s κ 为 0.900。三处分歧在服务商特异性和诊断价值的边界，不是答案没有出处或细则写错。把生成模型从 DeepSeek V4 Pro 换成 Qwen3.5-397B-A17B、下游不变时，100 道候选里 62 道在后续质检和保守人工复查后可用。论文说这只说明换一个强模型仍能产出可用候选，不能证明和生成模型无关。

Pro 一共 306 题

Payment Knowledge 95 道选择题，测 L1，同时有闭卷和开卷。Context-Grounded Reasoning 96 道开放问答，L2 到 L5 的题量是 38、29、19、10。Task-Input Attack 115 道开放问答，只测开卷下的保持答案扰动。L5 只有 10/96，占 10.4%，论文写明不能单独拿来排名，也不能下稳定的层级结论。

每题只归一个主要证据类。最大的几类是支付系统接入与路由 16.7%、监管 15.7%、货币兑换 13.7%、支付报文与标准 13.4%。其余覆盖汇款机构、银行、支付平台、卡组织、清算结算和数字钱包。这是发布时的文档快照，不是支付领域的均匀抽样，也不是总体。

分数怎么读

16 个模型经阿里云百炼和 OpenRouter 评测，解码是确定性的 pass@1。开放问答的头条裁判是自部署的 DeepSeek V4 Flash，非思考模式，四台机器、每台四张 H200。DeepSeek V4 Pro 参与了造题，又作为答题模型出现，它的分数只当参照，不当基准有效性的证据。被测模型只能看到最终题目和来源上下文。

支付知识开卷几乎饱和：16 个模型里 15 个是 95/95，Ministral 3 8B 是 93/95，也就是 97.9%，所以主表不列这一列。闭卷支付知识从 44.2% 到 80.0%。

情景推理闭卷，三个前沿模型只有 14.6% 到 36.5%：Gemini 3.1 Pro Preview 14.6%，Claude Opus 4.7 25.0%，GPT-5.5 36.5%。开卷升到 82.3% 到 89.6%：Gemini 89.6%，GPT-5.5 和 Claude 都是 82.3%。闭卷到开卷的提升是 45.8 到 75.0 个百分点，bootstrap 标准误大约 3.1 到 4.9 个百分点，所以论文不拿相邻名次做细排名。代表 32B 开源权重大模型的 Qwen3 32B，情景推理开卷 69.8%，攻击开卷 42.6%。Gemini 的攻击开卷是 81.7%。

抽查 Gemini 在情景推理上「闭卷错、开卷对」的 20 道，19/20 是漏了或说错实质规则、条件、阈值、流程，或加了没有出处的说法；只有 1/20 实质正确，但和细则要求的表述对不齐。开卷后的剩余错误里，六模型人工审计把多规则综合、范围和例外边界并列成最多的错法，各 26 个模型–题目错误。

同一批 95 道支付知识上，给 Qwen3.6-27B 接上能读语料的 Codex harness，闭卷从 61.05% 升到 92.63%；支付问答监督微调再混 10% 通用数据，升到 94.74%。论文把这当成可行动的旁证，不是对每一条分诊标签的因果验证。

攻击集和干净开卷不是同一批题。Qwen3.5 397B-A17B 干净开卷 84.4%，攻击开卷 72.2%。Llama 4 Maverick 从 68.8% 掉到 46.1%。115 道里 110 道带两个攻击标签、5 道带一个，标签提及共 225 次，所以分模式的准确率会重叠，不能当成难度的因果排序。看得清的三档是：子规则前提塌掉（Mode A，52 题）跨模型平均 49.8%，前沿模型也只有 65.4% 到 75.0%；规则覆盖缺口上的过度泛化（Mode B，61 题）平均 62.5%；和常见操作习惯相反的规则（Mode E，80 题）平均 66.7%。头条稳健性结论以完整的 115 题为准，题量少的模式只作探索。

Qwen3 非思考的规模扫描里，L2–L5 开卷从 4B 的 53.1% 升到 235B 的 75.0%，攻击开卷从 28.7% 升到 51.3%，L1 闭卷仍停在 50.5% 到 58.9%。思考模式对 Gemma 的攻击开卷有帮助，对普通开卷则忽高忽低。

裁判没有被当成唯一真相

四名审核者看了 255 条能看见判定的开放问答裁判：全部 115 条攻击开卷，再加上基础闭卷和基础开卷各抽 70 条。接受 251/255，即 98.4%。基础开卷和攻击开卷抽到的全部接受。基础闭卷 70 条里接受 66、轻微问题 3、判错 1。前沿模型开卷做错的题，两名审核者交叉看过；有分歧就不能进基准。

另用 Qwen3.5-397B 和 Qwen3.6-27B 重打 921 条固定输出，和 DeepSeek V4 Flash 的一致率是 93.05% 和 91.97%，正确率移动 −2.17 和 −1.74 个百分点。同一裁判对固定输出重打三次，2763 次调用都能解析成 JSON，准确率极差最大 2.08 个百分点，小于闭卷到开卷的主差距。这些检查不替换头条分数。

分数不能当成永久能力

Pro 仍是有限的公开或可审阅支付文档快照，分数相对于这份快照，不是模型的永久属性。Closed、Open、Attacked Open 是行为信号，不是因果解释。Bloom 层级和攻击模式是覆盖工具，不是支付推理的完整理论。开放问答仍可能受细则措辞、裁判误差，以及造题模型和裁判模型同族的影响。基准用于评测和工程诊断，不用于支付、金融、法律、合规或对客建议。攻击题是保持答案的稳健性探针，不是欺诈或绕过控制的说明。全文原件只在许可允许时再分发。

出处：蚂蚁，Ant International，BENCHCOMPASS: From Scores to Signals for Training and Harness Decisions in Payment-Domain LLMs，2026-09-16，https://arxiv.org/abs/2609.18270