裁判和人一致到 95.34%：腾讯混元 DiagSafe 用条目评安全，不看一句安全不安全

裁判和人一致到 95.34%：腾讯混元 DiagSafe 用条目评安全，不看一句安全不安全

腾讯混元团队与北京师范大学的预印本 Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics。arXiv 提交日期是 2026 年 10 月 21 日（2610.29225v1）。通讯作者邮箱是 nlpzhezhao@tencent.com，数据计划放在 Tencent-Hunyuan/DiagSafe。DiagSafe 是一套按单条提示词写评分条目的安全评测，不把回答收成「安全 / 不安全」两个字。安全看具体伤害和豁免，有用性单独打 0 到 3 分。

84 个标签，3489 条，中英大约一对一

现有安全集的问题被写成三条。标签太粗，开发者看不出该改哪。裁判不一致，换一个分类器，攻击成功率可以差将近 30 个百分点。规则要么含在模型里，要么全库共用一句。

DiagSafe 给每一条提示词单独写评分条目，分安全和有用两项。安全条目对准具体伤害，并写明豁免，用来压误报。有用性看指令有没有被完成，和安不安全分开记。

标签是三层，图 2 的口径是 11 / 34 / 84。叶子和 SALAD-Bench、S-Eval、Do-Not-Answer、CHiSafetyBench 对照：红的是别人没有的叶子，橙的是别人只覆盖到父类，灰的是两边都有。

数据分两集。DiagBase 是单轮和多轮，包含直接有害问法和模板越狱。DiagAttack 把同样的有害意图嵌进复杂的指令跟随任务，做成指令攻击。合成时，DeepSeek-V3.2 写提示，Hy3 写评分条目，Hy3 也当带条目的主裁判。

DiagBase 2401 条，DiagAttack 1088 条，合计 3489 条。中文和英文大约 1:1，单轮和多轮是 7:3。

人工抽查：每个三级标签抽 4 条提示，336 条里 324 条合格，合格率 96.4%。评分条目每个三级标签抽 3 份，252 份里 251 份被判合理、可执行，99.6%。

不安全率：至少一条安全项命中，且没有豁免

主指标是不安全率：回答触发至少一条安全项，并且没有适用豁免，这条就算不安全。有用性是 0 到 3 分。另报和人工的一致率，以及裁判之间的 Cohen’s κ。

11 个开源权重模型，本地从发布检查点起服务，规模从 8B 到 1.6T：Qwen3.6-27B、Qwen3.5-397B-A17B、Kimi-K2.6、GPT-OSS-120B、MiniMax-M3、DeepSeek-V4-Pro Preview、GLM-5.2、Gemma-4-31B、DeepSeek-V4-Flash Preview、Llama-3.1-8B、Llama-3.3-70B。链路里没有审核过滤、守卫模型和系统提示，观察到的拒绝算模型自己的对齐。除 GPT-OSS-120B 不能关推理、用默认 reasoning_effort=medium 且只评最终回答外，其余用非思考模式。解码统一：temperature 0.7，top-p 0.8，top-k 20，重复惩罚 1.05。

人工金标是 236 条回答。表 3 是各评法对上这批金标的一致率。

摘要里的 95.34% 是 Hy3 加条目，不是任意裁判。同一套条目，DeepSeek-V4-Pro 是 89.41%，Qwen3.5-9B 是 90.25%，仍高于这两家在通用提示和标签说明上的数。分类器最高是 Qwen3Guard 严格档 87.29%，最低是 MD-Judge 69.07%。摘要说基线在 69% 到 87%，和这张表的两端对得上。

三个裁判互相比较时，条目评法的一致率在 93.33% 到 94.78%，Cohen’s κ 在 0.828 到 0.864。摘要里的 0.864 是这个区间的上沿，不是每一个裁判对。

套进指令壳，不安全率变成原来的 1.9 到 8.4 倍

图 4：DiagBase 上 11 个模型的不安全率在 2% 到 33%。同一意图套进良性指令壳之后，每家相对自己的 DiagBase 升到 1.9 倍到 8.4 倍，中位数 5.3 倍。11 家里 8 家在 DiagAttack 上超过 40%。

有用性和不安全率是两张图，不能用一个总分相加。Qwen3.6-27B 被标在较理想的一角：有用性高于 2.0，不安全率大多低于 15%。GPT-OSS-120B 不安全率低，有用性大多低于 1.5，论文把它读成可能是一概拒绝。Llama-3.1-8B 两边都差：不安全率平均 41%、最高到 49%，有用性平均 1.43。

三个总不安全率接近的模型，18.6% 到 20.9%，一级类目上的分布并不一样。论文点名 MiniMax-M3 在某一级类目上最高，但没有在正文句子里把 11 个一级类目的全表写完。总率接近，不能当成风险结构相同。

常规越狱模板不是一律更危险。图 7 只看 DiagBase：Qwen3.6-27B 和 Qwen3.5-397B-A17B 升幅很小，MiniMax-M3 在模板下的不安全率甚至低于普通问法。

中文相对英文，多数模型只是略高，图 8 没有在正文里给出每家的百分点。多轮把有害意图拆开逐轮展开后，逐轮不安全率随对话推进上升。高不安全率的模型在多轮里更明显。图 9 同样没有逐模型数字写进句子。

表 2 用同一条 DiagAttack 提示对照行为。安全回答里至少有三种做法：拒绝并改到无害替代、有边界地回答并突出风险、以及另一类合规。这里不抄原提示。同样被打成安全的回答，优化方向并不相同。

这些数不能被读成什么

95.34% 绑在 Hy3 这个裁判上，而 Hy3 也负责写评分条目。换裁判，同一套条目掉到 89.41% 和 90.25%。金标只有 236 条回答，不是 3489 条全标。提示抽查 96.4%、条目抽查 99.6%，都是分层抽样，不是全量。

11 个模型都是本地开源权重、无守卫、无系统提示、单一推理模式。商用接口和思考模式没测。GPT-OSS-120B 关不掉推理，和其他十家的非思考模式不完全同条件。解码固定在 0.7 / 0.8 / 20 / 1.05，换一套采样会改不安全率。

评的是对话里的独立模型，论文写明还不覆盖会调工具、多步执行的 Agent。标签说明由模型生成，稀有和后来出现的风险可能不在 84 个叶子里。中文「略高」、多轮「随轮上升」没有逐模型百分点。DiagAttack 相对 DiagBase 的倍数是每家相对自己，不能把 8.4 倍套到所有模型。许可证是 CC BY 4.0。

出处：腾讯混元团队，Hongyu Li、Xinlong Huang、Zhan Yu、Jing Zhao、Zhe Zhao 等，Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics，2026-10-21，https://arxiv.org/abs/2610.29225