内置集不用配指标：腾讯云自动评测先看模式

内置集不用配指标：腾讯云自动评测先看模式

腾讯云大模型训推平台 TI-ONE 的《自动评测》最近更新时间是 2026-09-02 10:06:01。这一页写的是怎么交评测任务，不是一次公开跑分。自动指标的例子是 pass@1、ROUGE、F1。内置评测集用平台默认指标，自定义评测集要自己配。

概述里写支持三种评测模式：仅评测、推理及评测、自定义评测。同一张表又多了一行「从评测模板创建」。创建入口写的是两处：任务式建模的 CheckPoint，以及模型评测页的自动评测。模板创建是自动评测页里的一种模式，不是第三个入口。

仅评测和推理及评测

仅评测要求评测集里已经有模型推理结果，平台只打分。推理及评测上传的是只有问题的评测集，平台先出推理结果再打分。

评测集来源可以是内置评测集、数据中心、CFS、GooseFSx、数据源或资源组。内置评测集可以一键开启。CFS 和 GooseFSx 要填到文件夹，示例是 /test_data/ceval。路径不能指定文件名。目录里不是待评测数据，任务会失败。

推理超参包括 repetition_penalty、max_tokens、temperature、top_p、top_k、do_sample。temperature 越高越随机。建议 top_p 和 temperature 只设一个。do_sample 为 false 时走 greedy search，此时 top_p、top_k、temperature、repetition_penalty 不生效。

裁判侧有三个参数，页面没有给默认数字。MAX_JUDGING_CONCURRENCY 是打分并发上限。MAX_JUDGING_RETRY_PER_QUERY 为 0 则不重试，重试多了会拉长评测。INFERENCE_COUNT 是默认生成的推理条数。

自定义指标走前处理、裁判模型打分、后处理。正式开跑前可以调试：服务可以点「生成 response」；选的是模型而不是服务时，response 要手填再打分。还可以看拼接后的 Prompt。

内置大模型、训练任务、CFS、GooseFSx、数据源、资源组都能当待评测模型。服务可以选在线服务，或填写地址并做连通性测试。在线服务必须处于正常运行。启动参数 MAX_MODEL_LEN 默认 8192，指单次推理的最大 token 数，设太高可能显存溢出。MAX_CONCURRENCY 默认 24。MAX_RETRY_PER_QUERY 默认 0，为 0 就不重试。

模型名和评测集名都相同的旧任务，可以复用结果，不再推理、不再打分。

进度按条数算：总条数等于模型数乘评测数据条数。百分比等于已推理或已打分的条数除以总条数。有失败条时，剩下的继续评到结束。完成后可以看综合分、排名，并调整评测集权重和指标权重。单条结果可以分步骤看，也可以拿对照模型比 response。

按量付费只在「推理及评测」里可选。启动时冻结两小时费用，之后按运行中的实例每小时扣。包年包月用已经买好的资源组，启动时不再扣算力费。

自定义评测和模板

自定义评测把评测集、镜像、版本、挂载、启动命令、参数和环境变量收成一组任务配置。每个评测集的配置会在每个模型服务上串行执行。平台注入四个环境变量：结果目录 EVAL_OUTPUT_DIR，示例路径 /opt/ml/output；模型地址 EVAL_INFERENCE_URL；鉴权头名称和鉴权头值。要在详情页看到指标，必须把 metrics.json 写进这个目录。文件没写进去时，结果只在日志里，可视化对比也选不到。页面给的 accuracy 0.85、f1_score 0.78 是格式示例，不是某次跑分。

自定义模式暂时不能看单条结果。平台拿不到评测集条数，进度改成已完成的「模型乘评测集」除以总任务数。进度会在某一格停很久，文档说这不代表暂停或失败。复用旧结果前，指标必须写到平台路径，否则拿不到。

BFCL 只是自定义镜像加存储挂载的配置示例。这一页没有 BFCL 的题数或分数。

从评测模板创建时，评测集和指标已经在模板里。推理超参在这里只读，要改得回配置管理里改模板，或换成仅评测、推理及评测。模板里的变量名不能改，变量值可以改，只影响这一次任务。这一模式的服务来源写成在线服务或填写地址，可以加多个模型做对比，也可以设 System Prompt 和对比基线。

CheckPoint 入口更窄。前提是任务式建模已经产出 CheckPoint。弹窗里目前只支持内置评测集，计费可以是按量或包年包月。

限制

这一页没有模型分数，没有内置评测集的题数，也没有裁判模型的名字和及格线。概述写三种模式，表格有四行。0.85 和 0.78 是 metrics.json 的示例。自定义进度不是按条数计算。CFS 路径不能指到文件。按量付费的两小时冻结，写在「推理及评测」下面，不是四种模式都这么计。

腾讯云，自动评测，2026-09-02，https://cloud.tencent.com/document/product/851/106899