CodexQA

Industry & PracticeResearch & Benchmarks

示例权重写成 3107:方舟用四种算法回传评测结果

CodexQA 团队2 min read

火山方舟结果接口更新于 2026-09-04。评测算法有包含匹配、精确匹配、内置算法,以及只推理不打分。每页 1 到 100 条。响应示例里的 MMLU 其他学科权重是 3107,但指标为空、token 为 0,时间还停在 2024-03-26。

示例权重写成 3107:方舟用四种算法回传评测结果

火山方舟《获取评测任务结果列表》的最近更新时间是 2026-09-04 20:18:47。接口是 ListEvaluationResults,版本号 2024-01-01。它不创建评测,只把某一条模型评测任务下面的结果列出来。地址在华北 2(北京):Action=ListEvaluationResults。这一页写明只支持 Access Key 鉴权。

必填的是评测任务 ID。筛选可以按能力维度,多个维度是「或」的关系;也可以按结果 ID 精确匹配。页码从 1 开始,默认第 1 页。每页默认 10 条,允许 1 到 100 条。排序默认按创建时间降序,也可以改成更新时间,顺序可以升序。项目名默认 default,资源不在默认项目里就要填对名字。

四种算法,有一种根本不打分

每条结果带评测集种类。AdminDataset 是平台预置评测集,这时返回预置集 ID。UserDataset 是用户自定义评测集,这时返回 TOS 地址。样本文件也有单独的 TOS 地址。文档注明这些桶只支持华北 2(北京)。

评测算法 Method 有四个值。Include 是包含匹配。Match 是精确匹配。BuiltIn 是平台内置算法。InferenceOnly 是只推理、不打分。页面没有展开 Include 和 Match 比的是整句还是子串,也没有写 BuiltIn 具体调用哪一个指标。

指标放在 Metrics 数组里。每一项有名称和分数,分数是字符串,用来装不同精度。文档举的名称是 Accuracy、F1、BLEU,不是说每次都会返回这三项。另外有 ScoringWeight,说明是该评测集在综合评分里的权重。综合分怎么用这些权重加起来,这一页没有公式。

Token 消耗分开记。总 token 数等于 prompt token 与 response token 之和。响应里还有当前页码、每页条数,以及符合筛选条件的总数。

样例不是一次 2026 年的跑分

文档给的响应示例里,评测集内部名是 ark-ff-mmlu-other-5shots,展示名是「MMLU 其他学科」,能力维度写成 MMLU。种类是 AdminDataset。算法是 BuiltIn。ScoringWeight 是 3107。Metrics 是 null。TotalTokenCount 是 0。创建和更新时间都是 2024-03-26T05:48:00Z。

所以 3107 是这条旧样例里的权重,不是满分,也不是 2026-09-04 新测出来的准确率。Metrics 为空、token 为 0,不能当成一次完整打分。MMLU 在这里只是预置集的能力维度名称,页面没有给出题目数或 5-shot 的提示模板。

限制

这一页是结果查询接口,不是评测任务怎么出题、怎么抽样。四种算法只有名字。权重没有量纲,综合分没有公式。能力维度筛选取的是「或」,没有「与」。TOS 不支持北京以外的地域。示例里的 MMLU 行没有指标值。排序只有创建时间和更新时间,不能按分数排。

火山引擎,获取评测任务结果列表,2026-09-04,https://docs.volcengine.com/docs/ark/list-evaluation-results-api?lang=zh

Found it useful? Pass it on

WeChat

Scan with WeChat to open it on your phone and forward it.

Subscribe via RSS

Submit a correction