从看似合理的层级到可用的分类体系：在客户反馈上评测智能体支架

从看似合理的层级到可用的分类体系：在客户反馈上评测智能体支架

Prabhath Chellingi，Raviraja G，Viraj Bagal

所属机构与通信地址：三位作者的所属机构通信地址依次为 prabhath@enterpret.com、raviraja@enterpret.com、viraj@enterpret.com。

###### 摘要

分类体系是人工智能系统用来组织证据、汇总模式，并在大型文档集合上回答问题的符号表示。在客户反馈上，分类树决定每一条记录如何被计数和路由，哪些问题被看见，以及哪个团队拥有它们。智能体支架现在很容易生成一棵看起来合理的层级，而这类树今天是用通用的、逐项范围的检查来核验的：每个名称符合它的描述，位于正确的父节点之下，并与兄弟节点保持可区分。我们问一个更偏操作的问题：一棵生成的层级何时才真正能当作生产分类体系来用？我们在两份专有反馈语料（1,940 条和 5,000 条记录）上构建六棵分类体系：每份语料一棵生产参照，以及同一支架在相同输入下的两次重复运行。六棵全部通过每一项通用命名和结构检查，更深的产品覆盖检查甚至更偏好生成的树。然而在每一棵生成的树里，至少 97.7% 的叶名只是在复述某个祖先的名称（参照里是 13.9% 和 2.9%），其中一棵里，每四条记录就有三条落在多个顶层类别之下。我们引入两族整树指标：结构判别器检验一棵树的形状是从数据里学到的，还是由生成器强加的；团队可划分性检验分支是否把反馈拆成团队能够拥有的组。通用检查评为同样正确的树，在跨分支泄漏上相差 27 个百分点，而且两棵里只有一棵胜过随机划分。表面合理性不足以衡量分类体系质量：评测必须既度量每个节点，也度量整棵树。

关键词：分类体系评测；客户反馈分析；智能体支架；LLM-as-judge；智能体式分类体系构建；结构指标；分支泄漏；图模块度

1 引言

客户反馈分类体系有两件工作。它让一个组织能够问“哪个产品领域造成最多不满”，并信任返回的计数；它也让一个团队能够把工作范围收到自己拥有的那一支。两件工作都不依赖任何一个单独的节点。两者都依赖散布在整棵树上的性质：体量如何分布，标签如何不同于邻居，一支如何干净地从其余部分切出去。

今天在用的大多数分类体系评测并不这样看树。它运行通用的、逐项范围的检查，每一项检查单个节点、单条边或一对兄弟：这个名称是否匹配这个描述，这个节点是否属于它的父节点，这两个兄弟能否被区分开。这些是正当的问题，而且 LLM 评判能可靠地回答它们。少数检查稍微走得远一点（兄弟可区分性比较成对节点，覆盖检查把节点对照文档），但每一个裁决仍然是局部的，分数汇总成一个无法定位系统性模式的通过率。于是一个被问“这个节点的名称是否连贯”的评判，一次看一项，永远不会注意到树里每一个名称都由同一模板建成，或者整整一层从不分支。那些事实只存在于语料这一层。

我们在真实产物上测量了这一缺口。在来自两款已部署商业产品的两份专有客户反馈语料上（小样本 1,940 条记录，大样本 5,000 条），我们组装了六棵分类体系——每份语料一棵生产参照，以及同一现成智能体构建支架在相同输入和预算下的两次独立运行——并用常用的通用检查给六棵打分。每一件产物都通过每一项检查。描述完整性全线为 1.00，名称–描述匹配为 0.97–1.00。逐节点来看，六棵看起来同样专业。

整树测量不同意，而且失败在运行和语料之间重复。每一棵生成的分类体系在 97.7–100% 的叶名里逐字复述一个完整的祖先名；两棵参照是 13.9% 和 2.9%。在一棵生成的分类体系里，某一层全部 158 个父节点都恰好有一个子节点——一种长尾反馈数据根本不会产生的包装节点模式。把实际反馈记录路由进这些树，每一棵生成分类体系有三分之一到四分之三的记录落进不止一个顶层产品领域，对照参照的五分之一；而且有一棵生成分类体系的分支边界，在把相关问题保持在一起这件事上，比随机划分更差。通用检查一件也检测不到。它们在命名和结构上把六件产物都打成同样专业。

我们做出三项贡献：

1. 我们用具体数字和分类体系片段表明，一种广泛使用的分类体系评测风格（对名称、描述、边和兄弟对做通用 LLM 评判）系统性地检测不到模板化标签坍缩、生成器强加的分支上限，以及跨团队碎裂——我们研究中每一次智能体运行都表现出的失败模式——因为这些都不是任何一个单独节点的性质。

2. 我们引入两族确定性的、不使用评判模型的指标，它们只从分类体系产物（对其中一族，再加上它的记录分类）就能计算：结构判别器，检测结构是由生成器强加的而不是从数据学到的；团队可划分性，度量一棵分类体系的分支是否把记录流划分成可干净分开的组，这是把分支指派给不同产品团队的结构前提，也是现有评测不问的一个下游问题。

3. 我们在两份语料上的六棵独立构建的分类体系上报告这两族指标，说明如何对照具体分类体系片段来读每一个数字，并表明新指标能分开通用检查分不开的产物：C-1 和 C-2，同一支架的两次运行，那些检查把它们评为同样正确（层级正确性 0.92–1.00），它们在分支泄漏上相差 27 个百分点，并且共现模块度改变符号。

2 相关工作

2.1 基于统计和语料的分类体系构建

传统的分类体系构建研究使用术语抽取、语义相似度、聚类和层级扩展。TaxoGen 用自适应嵌入递归聚类术语，从语料构建主题分类体系（Zhang et al. 2018）。HiExpan 用语料证据和任务指导扩展一棵种子分类体系（Shen et al. 2018）。TaxoExpan 用在自监督锚点关系上训练的、带位置增强的图神经网络，用新概念扩展已有分类体系（Shen et al. 2020）。主题建模方法，例如潜在狄利克雷分配（Blei et al. 2009），以及基于嵌入的方法，例如 BERTopic（Grootendorst 2022），常被用来组织非结构化记录。这些方法都没有在其输出是否把底层记录划分成足够可分、从而能在团队之间切开的组这一点上被评测，而这正是我们第二族指标针对的问题。

2.2 面向客户反馈的分类体系

客户评论、调查、应用商店评论和支持交互，已经被用主题和方面分类体系组织起来。亚马逊的 InsightNet 从客户评论构建多层分类体系，并把细粒度主题与极性和支持性原话关联起来（Mukku et al. 2024）。相关工作用层级分类识别客户问题中可行动的主题（Rana et al. 2023），FeedbackMap 则组织开放式调查回答以供分析（Beeferman and Gillani 2023）。FeClustRE 把抽取出的应用功能组织成层级聚类并做语义标注的结构（Tiessler and Motger 2025）。一项对用户反馈分类的系统综述发现，围绕情感、意图、用户体验和主题组织起来的标签空间又大又异质（dos Santos et al. 2019）——这本身就是证据：没有单一分类体系会自动从一批反馈里跟出来。这一支工作评测的是分类准确率或主题连贯性，而不是所得结构是否适合组织使用。

2.3 LLM 与智能体式分类体系构建

预训练语言模型已被用来通过预测父子关系并把它们调和成一致层级，来构建分类树（Chen et al. 2020），指令微调模型则在一个统一框架里被用于实体集合扩展、分类体系扩展和种子引导的分类体系构建（Shen et al. 2024）。在低资源设定里，带强化学习微调的自监督提示，能从少数标注样例扩展分类体系（Mishra et al. 2024）。智能体系统走得更远：收集信息、调用工具、评测中间产物，并在多步轨迹上修订输出。近期证据表明，智能体基准表现本身在同一任务的重复运行之间是有噪声的（Bjarnason et al. 2026）；我们的结果把这一点延伸到分类体系构建，并表明重复运行的方差集中在通用评测看不见的语料级性质上。

2.4 分类体系质量评测

先前工作为分类体系提出了质量属性——全面性、稳健性、解释力、可扩展性、互斥性——历史上由专家判断来评估；一部汇集这些属性、并为它们贡献显式测量的纲要表明，评测内在地绑在预期用途上（Unterkalmsteiner and Adbeen 2022）。形式本体评测提供互补的机器：OntoClean 对照元性质审计隶属关系（Guarino and Welty 2002），一种有影响的分类体系开发方法在互斥且共同穷尽的维度上定义分类体系（Nickerson et al. 2013），综述则编目基于结构和基于应用的度量（Brank and Grobelnik 2005）。TExEval 把抽取出的分类体系边对照金标准层级打分（Bordea et al. 2015；Bordea et al. 2016），TnT-LLM 用 LLM 评判大规模评测 LLM 生成的标签分类体系（Wan et al. 2024），层级分类研究则贡献感知层级的度量（Kosmopoulos et al. 2014）。除一个部分例外（互斥性，我们在讨论里再回到它）之外，这些工具每一个都是通过检查节点、边或节点对来打分的。没有一个问：一个节点的标签在整棵树上汇总之后，是否在信息上不同于其祖先的标签；某一层的分支因子反映的是数据分布还是生成伪迹；或者这棵树的分支是否把底层记录流划分成可干净分开的组。计算语言学区分词型与词例（Jurafsky and Martin 2000），它们的比值是文本词汇多样性的经典度量；网络科学长期以来用模块度度量一个图划分是否有意义地自成一体（Newman 2006）。据我们所知，这两种工具都还没有被用到分类体系产物上。古德哈特定律点名了最终的风险：一个被孤立优化的度量，不再指示它原先代理的东西（Manheim and Garrabrant 2019）。我们记录的更近的问题是，节点级检查甚至检测不到这些结构在默认情况下出现，而那时还没有任何优化压力。

3 实验设置

本文每一个数字都来自本节描述的协议——同一批六件产物，同一批两套记录，每个指标用四种打分工具之一。这覆盖表 1 的通用检查分数、表 2 的结构判别器、表 3 的可划分性指标，以及图里的每一个片段。

3.1 语料与产物构建

我们在两款已部署商业产品的客户反馈语料上评测，全文称为小样本（1,940 条记录）和大样本（5,000 条记录）；每份语料都附有该产品自己的文档。两者都是专有的，我们不再进一步刻画产品或数据管线。在每份语料上我们组装三棵分类体系，合计六件产物：

Live（每份语料一棵）是该产品现有的生产分类体系，由数据所有者的内部管线（本身是智能体式的，不是手工编排的）围绕有意的结构检查建成：重复模式检查、文档交叉引用、兄弟重叠消解。Live 分类体系是参照点，不是受控臂：它们跑在不同基础设施上，没有匹配的预算，而且因为它们的管线是围绕与我们指标精神相近的检查设计的，它们有利的剖面有一部分是构造出来的。因此本文没有混杂的证据是生成运行之间、支架内部的对比；参照显示的是，这些指标在由有意结构检查塑造的树上报告什么。

C-1、C-2（小样本）和 D-1、D-2（大样本）是同一现成智能体编码支架（Codex（2025），以最大推理力度运行 GPT-5.6-Sol）在一份固定协议下的独立运行：每次运行一个全新的、隔离的工作区；一份相同的任务规格（完整复现于补充材料），描述五层模式、连通规则、一条不重复规则。没有任何一次运行能接触评测器，或它将如何被打分。按运行清单，四次运行各消耗 5.8M–12.2M 输入词元（96.9–98.1% 由缓存提供；新鲜输入 159K–296K），以及各 73K–95K 输出词元，其中 30.9–37.4% 是推理词元。

每件产物通过 predictions.jsonl 给它语料里的记录分类，每条记录被指派一条或多条完整的、从 L1 到 Subtheme 的路径，路径在该产物自己的树里。同一语料上各产物的记录是相同的；分类则必然是产物特定的，因为一条路径只能引用它自己那棵树的节点——我们在第 5 节和局限性里回到这一依赖。实质性节点数（承载内容的节点，排除吸收未匹配记录的、系统管理的通用/杂项兜底）在小样本上从 1,421 到 1,509，在大样本上从 4,700 到 4,829；各表在原始计数旁边报告基于比率的统计，使产物规模不混杂比较。

3.2 评测协议

四种打分工具产生本文的数字；我们引入的两族指标不使用语言模型：

通用检查（表 1）。分类体系质量通常用由 LLM 评判大规模打分的通用检查来评估（Wan et al. 2024），呼应分类体系评测文献里规定的节点级、边级和成对级属性（§2.4）。评判一次读一个节点、一条边或一对兄弟，并返回一个裁决；报告的分数是通过项的比例。我们评测四项这类广泛使用的检查（评判：gpt-5.4-mini），覆盖命名和结构，也就是第 4 节和第 5 节所转向的轴：

• 名称–描述匹配：评判认为其名称与该节点自己的描述一致的节点比例。

• 描述完整性：带有非空、被判定为充分的描述的节点比例。

• 层级正确性：评判不标记为错误父节点关系的父子边比例。

• 兄弟可区分性：评判不标记为重叠或重复的兄弟对（共享同一直接父节点的节点）比例。

每一项都是一次一个节点、一条边或一对来评判的——从不对照祖先，从不对照整棵树——而这正是第 4 节所利用的局限。

产品术语覆盖（表 1，底行）。一种更深的检查，常用来验证一棵分类体系覆盖它所描述的产品：从产品文档抽出规范产品术语，由一个更强的评判（gpt-5.5）逐术语决定分类体系里是否有某个节点表示它；分数是被判定为已覆盖术语的比例。它度量的是分类体系是否覆盖产品已文档化的表面，而不是树内部是否健全。我们报告它，是因为它是生成产物胜过参照的那一项检查（第 4 节）。

结构判别器（表 2）。由一个独立脚本只在 taxonomy.json 上计算——没有预测，没有 LLM 调用。祖先包含、词元冗余和型例比是节点名称上的字符串和集合运算（§5）；扇出形状和跨分支复用直接从边表计算。

团队可划分性（表 3）。由第二个独立脚本在 taxonomy.json 和 predictions.jsonl 上一起计算：每条记录的预测路径被路由进每一棵候选树，以建立泄漏、纯度和模块度公式（§5）所计算于其上的分支指派和叶共现结构。

4 现有指标：它们测什么，又在哪里失效

4.1 常用的通用检查

表 1 报告四项通用的命名与结构检查，加上深度评判的产品术语覆盖检查，对象是第 3.1 节的六件产物。

表 1：通用检查（上方四行）和深度评判的产品术语覆盖检查（底行），两份语料上的六件产物。每一件产物都通过每一项检查，名称–描述匹配处处为 0.97–1.00；这些检查读起来像是“六件都是专业级的”。在产品术语覆盖上，每一件生成产物都超过它的参照（粗体），两份语料上都是如此。

脚注 1：↑ 越高越好；本表每一项指标都是越高越好。

从表面看，表 1 令人放心：每一件产物在两份语料上都通过每一项检查，而且生成运行常常超过它们的参照（D-1 和 D-2 给出完美的 1.00 命名分数，对照参照的 0.98）。产品术语覆盖走得更远。每一件生成产物都超过它的参照（小样本上 0.74–0.86 对 0.72；大样本上 0.90–0.91 对 0.80），因此按这项检查，生成的树看起来比生产分类体系更扎根于产品。只读这张表的人会得出结论：生成的树与生产参照可以互换，或者更好。

4.2 这张表没有显示的东西

图 1 并排放出 Live 和 C-1 各一条叶路径，每一列以该产物测得的祖先包含率开头（其名称复述一个完整祖先名的叶的比例；第 5 节给出形式定义），并在下方标注该叶的名称–描述分数。C-1 确实通过名称–描述匹配（0.97，与表 1 一致），所以这项检查并没有用别的方式悄悄抓住这个问题。C-1 的 L3 节点（虚线边框）是重复短语的起源处；它下面每一个框都把同一个被引用的 L3 名称逐字重新粘贴进自己的名称，然后再追加一个新词。这种重复不是图里的呈现选择——这些名称就是这样存在 taxonomy.json 里的。

图 1：Live 与 C-1 各一条叶路径，两者都是真实的、逐字的节点名；列标题给出每件产物测得的祖先包含率。引号中的短语（标成红色）从 C-1 的 L3 节点逐字符复制到它下面的每一个后代：Theme 和 Subtheme 各自几乎全是被复制的文本，只追加一个新词。名称–描述匹配以 0.97–0.98 通过两条链（表 1），因为它永远只把一个节点和它自己的描述比较，从不和它的祖先比较。

一次给一个节点打分的评判——“这个名称是否匹配这个描述”——没有办法看见这一点。两片叶子都有连贯的名称，孤立地看都和自己的描述匹配得很好，通用检查把两件产物都打成同样专业。差别只有在一次看完一件产物的全部叶子，并问其中有多大比例是这样建成的时候才出现。C-1 在它 867 片叶子的 97.7% 里复述一个匹配祖先的名称（表 2）；图中未画出的 C-2 达到它 599 片叶子的 100%，而且同一模式在大样本上独立再现（97.7% 和 100%）。表 1 里没有任何东西暗示这一点；失败坐在干净的 0.97–1.00 命名分数底下。作为比较，两棵参照只在 13.9% 和 2.9% 的叶子里复述祖先名称。

同样的盲目在分支结构上再现。C-2 从 L2 到 L3 的扇出，是我们观察到的生成器强加上限里最极端的版本：它全部 158 个 L2 父节点都恰好有一个 L3 子节点，一条毫无变化的纯包装节点链，而它在任何其他层对上最宽的节点仍然达到 26 个子节点，对照 Live 的 31。层级正确性（表 1）给 C-2 打 0.92，因为它的每一条边单独评判时都像一条站得住的父子关系。这项指标看不见的是，C-2 分支的整体形状是被生成过程钳住的，而不是由反馈实际集中在哪里塑造的。图 2 画出这一对比。

两种失败的共同点是，它们对整棵树为真，而不是对通用检查所检查的任何一个节点为真——而且两件产物在表 1 的每一项通用检查上仍然得分很高，同时在产品术语覆盖上超过参照。

5 两族新指标

我们提出两族指标，直接从分类体系产物计算（对第二族，还从记录分类计算），不需要 LLM 评判，也不需要金标准分类体系，遵循第 3.2 节的评测协议，对象与表 1 相同的六件产物和记录集。

5.1 结构判别器

这些指标问的是，树的结构是从数据学到的，还是由生成器强加的。

标签信息增益。对一个非根节点 $n$，祖先集合为 $A(n)$（排除系统管理的兜底节点），$\mathrm{tok}(x)$ 是节点 $x$ 名称里的内容词（去掉停用词之后剩下的词），当一个完整的多词祖先名是 $n$ 的名称的子串时，祖先包含把 $n$ 标出；词元冗余是它的连续版本：

高包含配合低的平均 $\mathrm{gain}(n)$，意味着子标签是在复述而不是在特化它们的父节点。

词汇多样性。对每一层 $L$，型例比——不同的词（型）除以总词数（例）（Jurafsky and Martin 2000）——取该层节点名称：

一个回收一小套模板短语的生成器，会把这个比值相对有机写成的标签压低数倍。TTR 一般随语料变大而下降，而 Live 叶子最多，却在我们的研究里有最高的 TTR，因此所报告的差距如果说有偏向，也是保守的。

扇出形状。对每一对相邻层，$|\mathrm{children}(p)|$ 在父节点 $p$ 上的分布。每件产物报告两个汇总统计：最大扇出（任意层对），即在每一个父节点和每一对层上观察到的最大 $|\mathrm{children}(p)|$；以及疑似封顶的层对，即其父节点集合 $P$ 满足

也就是至少十个父节点，且没有父节点有多于三个孩子——这是对整层的天花板，不是小父节点的计数（任何长尾树都有很多那种）。真实反馈体量是长尾的；这么窄的普遍上限不会偶然出现。图 2 展示来自实际语料的两种模式。

图 2：扇出形状（子节点计数是真实的；节点身份是示意的）。C-2 的 L2 $\to$ L3 层对坍缩成一条纯包装链：全部 158 个父节点都恰好有一个孩子。Live 的扇出跨度是 1–31，这是长尾反馈体量产生的形状。层级正确性把两棵树里每一条单独的边都打成正确（表 1），因为它从不看一个节点有多少兄弟。

跨分支复用。$|\{n:|\mathrm{parents}(n)|>1\}|$，即可通过不止一个父节点到达的节点数。一棵表达为严格树、任何地方都零复用的分类体系，是一个信号：横切的关切被复制了，或从未被建模，而不是被共享。例如，小样本参照把真实节点 “Pre-Execution Safety Controls For Risky Agent Actions” 共享在四个 L3 父节点之下，这是它 48 个共享节点之一；在一棵零复用的树里，同一概念必须在每一支上各写一次，把它的流量拆到重复项上，而通用检查无法把这些重复项和有意的、不同的一对区分开。

表 2：叶一级的结构判别器，两份语料上的六件产物。每一件生成产物都在包含、信息增益、多样性和复用上坍缩；最大扇出（$\star$）是分布上的上下文，不是质量分数。大样本参照有一次触发疑似封顶标志，落在一对确实很窄的层上（30 个父节点，没有一个超过 3 个孩子）——这是局限性里预料到的阈值假阳性——而 D-2 被标出的那一对是退化的（451 个父节点，没有一个超过 2）。粗体标出标题性发现。通用检查一件也没有标出。

脚注 2：↑ 越高越好；↓ 越低越好；$\star$ 没有单一的最佳方向——最大扇出反映底层数据的形状，不直接反映质量（§5）。

阅读表 2。一离开参照，祖先包含就从 13.9% 和 2.9% 跳到 97.7–100%，两份语料上独立如此：每一件生成产物都用拼接来建造叶名。表 1 的命名分数（生成产物为 0.97–1.00）完全漏掉了这一点，因为拼接出来的名称仍然正确描述它们自己的节点；它们只是没有在祖先已经说过的内容之外再增加任何东西。型例比在小样本上坍缩 2.5–4.4$\times$，在大样本上坍缩 2.0–2.7$\times$。值得注意的是，C-1——层级正确性拿到完美 1.00 的那件生成产物——仍然表现出 2.5$\times$ 的多样性坍缩，因此边一级的正确性和标签的信息量明显在度量不同的东西。四件生成产物的跨分支复用都是零，对照参照里 48 个和 73 个共享节点。这六行没有一行存在于通用检查之中，因为它们没有一行是关于单个节点的事实。

5.2 团队可划分性

产品反馈分类体系的顶层常常兼作一张所有权地图，L1（以及 L2）分支被指派给分开的产品团队。任何这样的指派能否成立，归根结底是一个结构可分性的问题：这些分支是否把记录流划分成彼此分开的组？我们通过把每件产物的记录分类路由进它的树来回答。因此下面三项指标都同时依赖分类和树本身（见局限性）。

分支泄漏。令 $\mathrm{branch}(r)$ 为记录 $r$ 的预测路径所触及的不同分支的集合，$\mathrm{count}(r,b)$ 为落在分支 $b$ 的路径数：

其中记录纯度是一条记录的路径落在其多数分支中的份额的均值（对照聚类评测中的簇纯度（Manning et al. 2008））。高泄漏意味着拥有一支的团队不把第二个团队拉进来，就看不见一个完整的问题。

共现模块度。在叶节点上建一张加权图，其中 $w_{uv}$ 是路径同时打中叶子 $u,v$ 的记录数；令 $m=\sum_{uv}w_{uv}$，分支度 $k_{b}=\sum_{u:c(u)=b}\sum_{v}w_{uv}$，则该分支划分的 Newman 模块度（Newman 2006）为

其中 $e_{b}$ 是分支内部的边权。$Q>0$ 意味着分支比随机划分抱得更紧；$Q<0$ 意味着分支边界主动切过问题在实践中的共现方式——比随机指派分支更差。图 3 在同一语料上展示两种失败模式。

图 3：分支泄漏与共现模块度（$Q$，分支划分的 Newman 模块度：正值意味着分支比随机划分抱得更紧，负值意味着更差）。两条记录和两段引语都是真实的，逐字取自语料及其预测；百分数给出每种模式在该产物记录中的份额。左：一条关于某个具体模型行为的 C-2 记录，被预测到模型路由分支和智能体行为分支两边，这是 C-2 的多数模式（76.4% 的记录泄漏），与 $Q<0$ 一致。右：一条留在单支之内的 Live 记录，这是那里的多数模式（80.2% 的记录恰好触及一支），与 $Q>0$ 一致。层级正确性（表 1）给 C-1 和 C-2 的分数彼此相差不超过 0.08；这张图的指标把它们分开 27 个泄漏百分点，并翻转符号，因为只有这些指标才会把记录路由进树。

可划分度。对分支 $b$，其子节点体量为 $\{v_{1},\dots,v_{k}\}$，总体量 $V_{b}=\sum_{i}v_{i}$：

单孩子分支的 $H(b)=0$；当体量在孩子之间均匀切开时 $H(b)\to 1$。这是工作量平衡的诊断，本身不是质量信号：一个切得很均匀、同时又是碎裂的划分（负模块度）并不会更有用，只是坏得更均匀。

表 3：团队可划分性，六件产物，各自在它对自己语料记录的分类上打分。两份语料上，参照都大约把五分之一的记录泄漏到顶层分支之外；每一件生成产物泄漏三分之一到四分之三。粗体标出正文讨论的 C-1 对 C-2 对比。可划分度（$\star$）是工作量平衡的上下文，不是质量分数。

脚注 3：↑ 越高越好；↓ 越低越好；$\star$ 没有单一的最佳方向——见可划分度的定义。

阅读表 3。参照的 L1 泄漏（19.8% 和 19.3%，表 3 第 1 行）意味着两份语料上五条记录里有四条在单个产品领域内解决：拥有该领域的团队看到的是完整问题，而不是碎片。每一件生成产物的泄漏是参照的 1.8–3.9$\times$（34.7–76.4% 对 19.3–19.8%，同一行）；C-2 的 76.4% 意味着四条记录里有三条跨越不止一个团队的分支。模块度在它保持为正的地方处处比参照低 2.6–5.6$\times$，并且对 C-2 在两层上都转为负：它的分支边界在把共现的关切保持在一起这件事上，比随机划分更差，意思是 L1 标签在纸上看起来像类别，却并不对应问题在反馈流里实际如何成簇。有一个机制在标签本身里可见：C-1 的 L1 “Outcomes, Adoption and Market Perception” 把互不相关的关切捆在一起——社区讨论、竞品比较、行业方向、整体产品体验——没有一个团队能独自拥有，而参照的 L1（例如 Performance / Reliability、Cloud Execution）各自是一个连贯的领域。层级正确性标不出这一点，因为每一条子边单独看都站得住；这个类别本身是一堆主题的组合，拿来代替一个产品领域。可划分度说明了为什么它被当作上下文来报告：没有收束的平衡不是可分性，而 C-2 把本研究最差的泄漏，和恰好为零的 L2 可划分度结合在一起（它 158 个 L2 父节点每一个都只有一个孩子，因此没有什么可划分的）。这是与表 1 最尖锐的分歧。层级正确性给 C-1（1.00）的分数与 C-2（0.92）相差不超过 0.08，但可划分性把它们分开 27 个泄漏百分点，并翻转模块度的符号：两棵树里的边单独看都成形良好，分支的行为却很不一样。限于通用检查的评测恢复不了这一点，因为它从不构造比较所依赖的那个对象——叶共现图。

6 讨论

第 4–5 节里的每一类失败，都是关于节点总体或记录总体的事实，而不是关于任何一个被孤立评判的节点。祖先包含的坍缩存在于每一片叶子与其祖先的关系之中；分支上限存在于几十个父节点上孩子数目的分布之中；泄漏和模块度存在于成千上万条记录到路径的指派如何在语料上共现。一个按节点、按边或按兄弟对调用的 LLM 评判，在结构上无法计算其中任何一项——不是因为评判弱，而是因为问题不是局部的。我们的两族指标便宜，原因相同：它们不需要评判，只需要对产物及其分类做闭式统计，表 2 和表 3 里的每一个数字都是在没有 LLM 调用的情况下产生的。

这些指标也解决了从第 2.4 节推迟过来的互斥性问题。互斥性（Nickerson et al. 2013）是一条节点级的设计规定；分支泄漏在记录级把它操作化，一条跨越两支的记录就是一次可计数的违反。因此复用和泄漏是互补的，而不是矛盾的：复用问的是一个横切概念是否被表示一次并被共享，泄漏问的是这样的概念影响了记录流的多少。一棵形状良好的分类体系有非零复用和低泄漏（参照：48 个和 73 个共享节点，大约 20% 泄漏）。生成产物把零复用和 35–76% 泄漏结合在一起——横切概念既没有被共享，也没有被收住。

四次运行从未见过评测器，因此没有任何东西是对着它优化的：模板化标签、被封顶的分支，以及按概念另铸分支，是无约束生成在默认情况下产生的东西，而通用打分检测不到它们。一个对着这类检查优化的过程，按古德哈特定律，会向它们漂移。更多算力也没有帮助——每份语料上最重的那次运行（C-2 为 9.5M 输入词元，D-2 为 12.2M）同时也是该语料在泄漏和多样性上最差的一次。覆盖检查把缺失的惩罚变成主动的奖励，因为按每个已文档化的术语铸造一个节点，是抬高覆盖的最便宜办法，并且制造出同样这些模式；本研究泄漏最差的树（C-2）交出最高的小样本产品术语覆盖（0.86 对 0.72），这一模式在大样本上重复（0.90–0.91 对 0.80）。一个依靠通用检查来把关分类体系质量的团队，在信任结果之前，应当加上一次语料级的检查，无论是这里的两族，还是等价物。

7 局限性与未来工作

全部生成运行都用同一个支架，因此支架多样性未经检验，尽管机制（通用评判看不见的语料级事实）并不特定于这个支架。疑似封顶阈值会在确实很窄的分支上假阳性，并且确实发生了一次，落在大样本参照上（表 2）。型例比在尺度相差很大时对规模敏感。泄漏、纯度和模块度依赖每件产物自己的记录分类，因此它们评测的是分类体系加分类器这一系统。两族指标都没有对照团队速度这类外部有用性信号做验证；我们声称的是，它们在这里检测出现有指标漏掉的失败，而不是它们单独就够用。表 1 里的每一项指标都是 LLM 评判的（gpt-5.4-mini；覆盖用 gpt-5.5），没有人类一致性研究（Artstein and Poesio 2008），而且这类评判表现出自我偏好（Zheng et al. 2023；Panickssery et al. 2024）和顺序敏感性（Shi et al. 2025）；我们不使用评判模型的两族指标不受影响。未来工作包括时间稳定性、第二个支架家族、调过的阈值，以及插入时的构建门。

#### 可用性与伦理。

语料、产物和文档是专有客户数据，不予发布，因此表 2 和表 3 不能被独立重算。每一项指标都在第 5 节的公式和第 3 节的协议里完整规定，完整的智能体任务规格和启动提示在补充材料里给出，因此两族指标和构建协议都可以只从论文重新实现，并原样应用到任何满足同一输入契约的分类体系产物上。

8 结论

一棵分类体系可以通过常用的每一项 LLM 评判的通用检查，并在产品术语覆盖上超过它的生产参照，同时每一片叶标签都逐字复述它的祖先，它的分支被生成器封顶，而且四分之三的记录泄漏过它本应强制的产品领域边界。我们在所测试支架的全部四次运行里观察到这一点，在两份真实语料上独立如此：同样的失败模式，每一次运行。结构判别器和团队可划分性恢复通用评判看不见的失败，确定性地，并且没有 LLM 评判。团队所缺的指标不是一个更好的通用评判；它是一个把树、以及被路由穿过它的记录，当作一个整体来看的指标。

参考文献

• R. Artstein 与 M. Poesio。计算语言学中编码者之间的一致性。刊于《计算语言学》第 34 卷第 4 期，第 555–596 页。外部链接：国际标准刊号 0891-2017，链接，文档。被引于第 7 节。

• D. Beeferman 与 N. Gillani。FeedbackMap：一种帮助理解开放式调查回答的工具。刊于《2023 年计算机支持的协作工作与社会计算会议》的伴随出版物。外部链接：链接。被引于第 2.2 节。

• B. H. Bjarnason、A. Silva 与 M. Monperrus。论智能体评测中的随机性。外部链接：预印本编号 2602.07150，链接。被引于第 2.3 节。

• D. M. Blei、A. Ng 与 M. I. Jordan。潜在狄利克雷分配。外部链接：链接。被引于第 2.1 节。

• G. Bordea、P. Buitelaar、S. Faralli 与 R. Navigli。SemEval-2015 任务 17：分类体系抽取评测（TExEval）。载于国际语义评测研讨会。外部链接：链接。被引于第 2.4 节。

• G. Bordea、E. Lefever 与 P. Buitelaar。SemEval-2016 任务 13：分类体系抽取评测（TExEval-2）。载于国际语义评测研讨会。外部链接：链接。被引于第 2.4 节。

• J. Brank 与 M. Grobelnik。本体评测技术综述。外部链接：链接。被引于第 2.4 节。

• C. Chen、K. Lin 与 D. Klein。从预训练语言模型构建分类体系。载于计算语言学协会北美分会。外部链接：链接。被引于第 2.3 节。

• （2025）。ChatGPT 中的 Codex：面向软件工程的人工智能编码智能体。注：https://openai.com/codex ，访问于 2026 年 7 月 29 日。被引于第 3.1 节。

• R. I. dos Santos、E. C. Groen 与 K. Villela。用户反馈分类的一种分类体系。载于需求工程基础研讨会。外部链接：链接。被引于第 2.2 节。

• M. R. Grootendorst。BERTopic：用基于类别的词频–逆文档频率程序做神经主题建模。预印本 ArXiv abs/2203.05794。外部链接：链接。被引于第 2.1 节。

• N. Guarino 与 C. Welty。用 OntoClean 评测本体决策。刊于《美国计算机学会通讯》第 45 卷，第 61–65 页。外部链接：链接。被引于第 2.4 节。

• D. Jurafsky 与 J. H. Martin。语音与语言处理：自然语言处理、计算语言学与语音识别导论。外部链接：链接。被引于第 2.4 节与第 5.1 节。

• A. Kosmopoulos、I. Partalas、E. Gaussier、G. Paliouras 与 I. Androutsopoulos。层级分类的评测度量：统一观点与新方法。刊于《数据挖掘与知识发现》第 29 卷第 3 期，第 820–865 页。外部链接：国际标准刊号 1573-756X，链接，文档。被引于第 2.4 节。

• D. Manheim 与 S. Garrabrant。古德哈特定律变体的分类。外部链接：预印本编号 1803.04585，链接。被引于第 2.4 节。

• C. D. Manning、P. Raghavan 与 H. Schütze。信息检索导论。剑桥大学出版社。被引于第 5.2 节。

• S. Mishra、U. Sudev 与 T. Chakraborty。FLAME：用大语言模型做自监督的低资源分类体系扩展。刊于《美国计算机学会智能系统与技术汇刊》。外部链接：链接。被引于第 2.3 节。

• S. S. Mukku、M. Soni、C. Aggarwal、J. Rana、P. Yenigalla、R. Patange 与 S. Mohan。InsightNet：从客户反馈中做结构化洞察挖掘。载于自然语言处理经验方法会议。外部链接：链接。被引于第 2.2 节。

• M. E. J. Newman。网络中的模块度与社区结构。刊于《美国国家科学院院刊》第 103 卷第 23 期，第 8577–8582 页。外部链接：国际标准刊号 1091-6490，链接，文档。被引于第 2.4 节与第 5.2 节。

• R. C. Nickerson、U. Varshney 与 J. Muntermann。一种分类体系开发方法及其在信息系统中的应用。刊于《欧洲信息系统杂志》第 22 卷，第 336–359 页。外部链接：链接。被引于第 2.4 节与第 6 节。

• A. Panickssery、S. R. Bowman 与 S. Feng。大语言模型评测者识别并偏爱自己的生成。预印本 ArXiv abs/2404.13076。外部链接：链接。被引于第 7 节。

• J. Rana、P. Yenigalla、C. Aggarwal、S. S. Mukku、M. Soni 与 R. Patange。客户问题的弱监督层级多任务分类。载于计算语言学协会年会。外部链接：链接。被引于第 2.2 节。

• J. Shen、Z. Shen、C. Xiong、C. Wang、K. Wang 与 J. Han。TaxoExpan：带位置增强图神经网络的自监督分类体系扩展。刊于《2020 年万维网会议论文集》。外部链接：链接。被引于第 2.1 节。

• J. Shen、Z. Wu、D. Lei、C. Zhang、X. Ren、M. T. Vanni、B. M. Sadler 与 J. Han。HiExpan：用层级树扩展做任务引导的分类体系构建。刊于第 24 届美国计算机学会知识发现与数据挖掘国际会议论文集。外部链接：链接。被引于第 2.1 节。

• Y. Shen、Y. Zhang、Y. Zhang 与 J. Han。面向实体集合扩展和分类体系扩展的统一分类体系引导指令微调框架。预印本 ArXiv abs/2402.13405。外部链接：链接。被引于第 2.3 节。

• L. Shi、C. Ma、W. Liang、X. Diao、W. Ma 与 S. Vosoughi。评判那些评判者：把大语言模型当评判者时位置偏差的系统研究。外部链接：预印本编号 2406.07791，链接。被引于第 7 节。

• M. Tiessler 与 Q. Motger。FeClustRE：对用户评论中的应用功能做层级聚类和语义标注。预印本 ArXiv abs/2510.18799。外部链接：链接。被引于第 2.2 节。

• M. Unterkalmsteiner 与 W. Adbeen。分类体系质量属性的纲要与评测。刊于《专家系统》第 40 卷。外部链接：链接。被引于第 2.4 节。

• M. Wan、T. Safavi、S. K. Jauhar、Y. Kim、S. Counts、J. Neville、S. Suri、C. Shah、R. W. White、L. Yang、R. Andersen、G. Buscher、D. Joshi 与 N. Rangan。TnT-LLM：用大语言模型做规模化文本挖掘。刊于第 30 届美国计算机学会知识发现与数据挖掘会议论文集。外部链接：链接。被引于第 2.4 节与第 3.2 节。

• C. Zhang、F. Tao、X. Chen、J. Shen、M. Jiang、B. Sadler、M. Vanni 与 J. Han。TaxoGen：用自适应术语嵌入和聚类做无监督主题分类体系构建。外部链接：预印本编号 1812.09551，链接。被引于第 2.1 节。

• L. Zheng、W. Chiang、Y. Sheng、S. Zhuang、Z. Wu、Y. Zhuang、Z. Lin、Z. Li、D. Li、E. P. Xing、H. Zhang、J. E. Gonzalez 与 I. Stoica。用 MT-Bench 和 Chatbot Arena 评判“把大语言模型当评判者”。预印本 ArXiv abs/2306.05685。外部链接：链接。被引于第 7 节。