综合分不按题数加权：火山方舟评测集怎么计分、参考答案填在哪一行

综合分不按题数加权：火山方舟评测集怎么计分、参考答案填在哪一行

火山方舟（Volcano Ark，火山引擎上的模型训练与评测平台）文档《评测数据集格式说明》标注的最近更新时间是 2026-08-10 19:46:57。页面没有另给首次发布时间。评测集在这里分两套：平台预置的公开基准，以及用户自己上传的表格。

综合分是各维度的平均

综合评分写成所有能力维度评分的平均值。某一个能力维度的分数，又是该维度下面每个数据集得分的平均值。页面没有写按题目数量加权。Hellaswag 有 10042 题，LSAT 分析推理只有 230 题，只要被划进同一个维度，两者在维度分里的权重一样。维度再平均成综合分时，题少的维度也不会被题多的维度盖住。

指标由平台按参考答案的类型预设，用户不能在这页改。

正确率（Accuracy）用于判断题和 ABCD 选择题。页面点名的数据集是 MMLU、高考、LSAT、Hellaswag、BoolQ、AQUA-RAT、WinoGrande、BBH。匹配率（Exact Match）用于问答题和阅读理解，看输出文本和标准答案是否一致。点名的是 GSM8K、Natural Questions、TriviaQA。

GSM8K 在数据集介绍里放在「推理数学」，计分举例却归到匹配率。AQUA-RAT 只出现在正确率的举例里，前面的预置清单没有单独介绍它有多少题。页面没有写部分给分，也没有写裁判模型和这两条规则指标怎么同时进综合分。

预置集盖了哪些题

综合能力只列了 MMLU：57 个任务的多项选择题，学科从初等数学、历史、计算机科学到法律。

推理数学下列了五份。BBH 是从 BIG-Bench 里挑出的 23 个最难任务，要模型生成回答，不限选择题。GSM8K 是 OpenAI 的小学算术，1 千多道，每题 2 到 8 步。WinoGrande 是 1 千多个代词指代题。LSAT 分析推理 230 道，逻辑推理 510 道。

语言创作下列了高考语文 246 道、高考英语 306 道，年份都是 2010 年到 2022 年；LSAT 阅读理解 269 道；Hellaswag 10042 道四选一结局题，页面写人类准确率大于 95%；BoolQ 3 千多道是/否阅读题。

知识能力是 Natural Questions 3600 多个 Google 查询、TriviaQA（主要来自维基百科，没写题数），以及高考文理综 1 千多道，同样是 2010 年到 2022 年。

这些数字都是介绍用语，不是抽样后的实评题数。页面没有写预置集会不会更新、会不会去掉已被模型记住的题。

用户表最多 10 个文件

用户文件只收 .jsonl、.xlsx、.xls。一次评测最多 10 个文件，每个文件最多 1000 行。

Excel 单轮里，一行是一轮。query 必填。session_id 可以空着，但不能重复。选「推理+自动评测」时，reference_response 必填；只做推理则不要求参考答案。parameters 和方舟控制台都能设 temperature、top_p、max_tokens 等，两边都写了，以评测集为准。

Excel 多轮用同一个 session_id 串起来，顺序就是表格从上到下。同一个 session 的 system_prompt 必须相同。选「推理+自动评测」时，只有最后一行填 reference_response，response 留空；前面的行不填参考答案，response 可以填，填了就当成上文。选「仅推理」时，最后一行的 response 和 reference_response 都空着。

JSONL 单轮的字段换成 system、prompt、answer。answer 同样只在「推理+自动评测」时必填。多轮改成 message 列表，必须以 user 结尾；answer 是最后一个 user 的参考回复。平台会在这个 user 后面插入 assistant 输出。页面给了一条带错上文的例子：assistant 先回答 999，最后一问的参考答案是 5。输出样例里的 score 写成 2.0，analysis 用「完全正确」解释，但没有写出 0 分、1 分各对应什么。

出处：字节，火山方舟文档，评测数据集格式说明，2026-08-10，https://docs.volcengine.com/docs/ark/evaluation-dataset-format