1
阿里云 LangStudio 规定上线前先把 JSONL 评测集逐行跑出输出，再用辅助字段打分。完全一致率是 0 到 1，其余六项是 1 到 5，文档没有换算公式。虚构性和有害性都是分高更好，但含义与字面相反。
本文目录
1 到 5 分不能和 0 到 1 混加：阿里云 LangStudio 把应用评测拆成两段
阿里云帮助中心在 2026 年 8 月 19 日更新了 PAI LangStudio 的「应用评测」。LangStudio 是 PAI 里用来开发和评测应用流的模块。这篇不给某一家业务的线上准确率，它规定的是上线前怎么打分：先用应用把评测集每一行跑出输出，再用数据集里的辅助字段给每条输出打分，最后汇总成该数据集上的精度。两段不能并成一次调用。
数据集先放上 OSS，而且必须是 JSONL
前提是应用已经创建并调试完成。评测集上传到 OSS，格式是 JSONL。示例每一行至少有 history、query、reference、contexts。history 在示例里是空数组。query 是问题，reference 是参考答案，contexts 是字符串列表，例如「华山是五岳之一」。文档另给了一个稀有金属列举的长参考答案，用来说明 reference 可以是多段文本，不是单个词。文件名示例是 langstudio_eval_demo.jsonl。文档没有规定最少行数，也没有规定怎样抽样才算能上线。
需要裁判员模型的模板，要先建 LLM 连接。不依赖裁判员的模板不必配。计费分开写：评测集占 OSS，离线任务走 PAI-DLC，两笔都会计费。文档只指向 OSS 和 DLC 的计费说明，没有给这次评测的单价。
先推理，再评分；输入字段看应用模式
在应用开发页调试完后，右上角「评测」新建任务。评测数据集从 OSS 选一个 JSONL。「问题」字段作为应用流输入，其余字段用来算指标。应用输入映射要选运行时真正用到的字段。文档写明：评测前必须先完成应用推理，再对推理结果评分，所以要先选定推理输入。工作流模式的输入由开始节点定义，一般是 question 和 chat_history。代码模式只有 question。把代码模式的应用配上 chat_history，文档没有说会自动忽略，只说该模式的输入字段只有 question。
选多个预置模板时，结果聚合在任务详情页，不是合成一个总分。以回答正确性为例，页面上要配两样东西。model_configuration 是裁判员 LLM，用来看 question 和 answer 是否匹配，文档建议用能力较强的模型，并点名 qwen3-max，这是建议不是唯一可选项。reference 是数据集里的参考答案列。应用自己的问题和答案会自动取，页面上只需要指定参考答案列。文档同时说，只有部分模板需要参考答案，大部分模板只配裁判员 LLM。
自定义评测用系统里的「自定义评估」模板，改评价 prompt。可以建多个自定义评测，名字不能重复。judge_template 可以在样例上改，但有四条硬限制：不能改 prompt 里关于输出格式的描述；三个内置占位符分别是 {query} 问题、{messages} Agent 执行过程、{response} Agent 回答；可以用 {data.字段名} 引用数据集列，例如 {data.judge}；花括号是引用符号，正文里要写字面花括号时必须写成 {{}}。资源配置只给定评测任务调度，文档建议按任务复杂度选 CPU，没有给默认核数。
任务提交后进入概览。每个评测运行都是「批量运行 + 评测」两段。批量运行逐行生成输出。评测再用辅助字段给每条输出算分。结束后可以看子任务的链路、指标和输出。指标名以附录里的模板名为准。文档没有写失败重试次数，也没有写某一档分数算通过。
七个预置模板的量程不一样
| 模板 | 量程 | 分高表示 | 是否要模型 | 要额外提供的字段 |
|---|---|---|---|---|
| 完全一致率 | 0 到 1 | 1 为与参考答案精确匹配，0 为不匹配 | 不需要 | reference，字符串 |
| 相关性 | 1 到 5 | 回答更贴输入、更切题 | LLM 裁判员 | 无 |
| 正确性 | 1 到 5 | 事实、覆盖和格式更接近标准答案 | LLM 裁判员 | reference 可选，字符串 |
| 指令遵从度 | 1 到 5 | 内容、格式和约束跟得更全 | LLM 裁判员 | 无 |
| 虚构性 | 1 到 5 | 分数越高，虚构越少、越真实 | LLM 裁判员 | context，类型为 List[String] |
| 有害性 | 1 到 5 | 分数越高，越安全、越得体 | LLM 裁判员 | 无 |
| Trajectory 综合评估 | 1 到 5 | 轨迹整体更好 | LLM 裁判员 | 无 |
完全一致率是精确匹配，不是语义相近，中间也没有 0.5。它和另外六项的 1 到 5 不是同一量程，文档只说多模板结果聚合展示，没有给出加权或换算公式，不能把 1 和 5 直接加进 0 到 1。虚构性和有害性都是分高更好，但含义相反于字面：虚构性分高表示虚构更少，有害性分高表示更安全。正确性的 reference 是可选的，完全一致率的 reference 不是可选。虚构性要的字段名是 context，类型是字符串列表，和示例数据里的 contexts 复数并不自动相同，列名要对上模板写的输入字段。
这篇没有业务分
文档里的华山和稀有金属只是 JSONL 示例，不是评测结果。没有样本量门槛，没有通过线，没有不同裁判员之间的一致性。自定义模板若改了输出格式描述，就不在文档允许的改法里。调度资源只谈 CPU，批量推理用的模型费用没有写进这一页。
阿里云，PAI LangStudio 文档，应用评测，2026-08-19，https://help.aliyun.com/zh/pai/application-flow-evaluation
觉得有用，转给同事
微信扫码
用微信扫一扫，在手机上打开后即可转发。