评测口径怎么复用：腾讯云 TI-ONE 的配置管理

评测口径怎么复用：腾讯云 TI-ONE 的配置管理

腾讯云文档在 2026 年 10 月 26 日更新了大模型训推平台 TI-ONE（用来训模型、部署服务和跑评测的控制台）里「模型评测」下的配置管理。它要解决的是：每次新建评测都重填数据集、指标和压测参数，团队口径对不齐。文档的做法是先把评测集、评测模板和基线标准存成可复用配置，再建任务时引用，而不是在任务页里从零填。

三样配置各管一件事

评测集管数据和指标。效果评测集、性能评测集都可以放进来。平台内置的（文档举例 MMLU、GSM8K）和自己建的，都能在自动评测、性能评测里当数据来源。

评测模板把一套配置固化下来：评测集、模型、指标、压测模式、资源组。新建任务时按模板发起。模板的评测类型只有效果评测或性能评测两种，创建后不能改，选错只能另建。

基线标准记下某个模型在某个评测集上的指标基准，例如准确率、QPS、TTFT（首 token 时延，用来看服务有多快吐出第一个字）。报告里拿新结果和基线比差异，用来做版本回归。基线还没配任何评测集时，系统标成不可用，不能拿来当对比基准。

负责人和创建人才能改、才能删。删除不可恢复。

评测集怎么建

入口是 TI-ONE 控制台的模型评测、配置管理、评测集。上面可以切「平台内置」和「用户自定义」。自定义点新建，先选评测方式。

效果评测要填名称、负责人、备注、标签和评测集指标。指标可以输多个，每个用回车确认。文档写明指标名称必须和评测镜像里的名称一致，否则后面模板对不上。还要填镜像地址，例子是 ccr.ccs.tencentyun.com/eval/xxxxx，也可以从已有配置里选。挂载路径是源路径映射到容器路径，模式分读写或只读。启动命令的例子是 python run_eval.py。环境变量一行一个，格式是 KEY=VALUE。

性能评测的数据来源，页面同一段先写「六种」，后面列出的名字是 CFS、GooseFSx、GooseFS、数据中心、数据源、COS、CLS，一共七个。选来源后再选实例和路径。从 CLS（腾讯云日志服务）拉数据会产生外网读流量费。本账号拉取要填日志地域、日志集、日志主题、时间范围（默认最近一天）、可选的检索条件（文档例子是 status:200），以及把日志存到哪一个 COS 路径。跨账号还要填对方主账号 UIN（5 到 20 位数字）、CAM 角色名、角色 ARN（文档写的格式类似 qcs::cam::uin/xxx）。外部 ID 选填，用来收紧角色扮演。

性能评测还要一份推理超参，用 JSON 填写。文档给的例子是 repetition_penalty 为 1、temperature 为 0、top_p 为 1、top_k 为 50、do_sample 为 false。这是示例，不是平台唯一允许的取值。报告里展示哪些指标可以勾选，但文档写实际会评测全部指标，并提供下载。

建完后出现在自定义列表顶部。点名称看详情。只有负责人或创建人能编辑和删除。

模板里压测怎么配

评测模板在配置管理的另一个页签。基础字段是评测类型、模板名称、备注、负责人、评测集和资源。资源可以先选机器、资源组和申请量，建任务时还能改。性能评测还要对评测集的参数和环境变量再配一遍。

性能评测的模板可以填多组配置，压测有两种：

1. 多并发压测。要配测试方式（每轮时长或每轮请求数）、上下文上下限（单位是 tokens）、并发数（可以枚举多个）、最大输出 Tokens、评测持续时间、预热请求数。
2. 容量探测。要配发送次序（顺序或切片）、起始并发数、递增步长、梯度时长、预热时长。

列表里可以看详情、编辑、按这条模板发起评测，或删除。编辑时评测类型仍然不能改。

基线怎么判过线

基线标准名称建议写成「模型加场景」，方便以后搜。类型仍是效果评测或性能评测。来源可以是供应商，或「其他」。文档把「其他」解释成来自 TI-ONE 上已有的评测任务。

浮动标准先设一个默认上下浮动，文档写的是百分比，默认 2.0%。每个指标再单独填指标值、上浮动、下浮动。没配评测集的基线不可用。列表可以按基线标准名称或模型搜索，也能复制一条出来改版本。

需要说明的限制：以上字段、默认浮动、来源名单和「删除不可恢复」都来自该帮助页，不是独立复测。页面没有给出某一套业务评测集上的分数，也没有写 2.0% 是否适合所有指标。CLS 跨账号要事先在对方账号建好可扮演的角色，文档没有给出这个角色的最小权限列表。「六种来源」和后面七个名字对不上，以页面原文并存，这里不替它改口。

出处：腾讯云，腾讯云文档，《配置管理》，2026-10-26，https://cloud.tencent.com/document/product/851/132066