成功率低于阈值就停加压：腾讯云 TI-ONE 每个并发跑 15 到 20 分钟

成功率低于阈值就停加压：腾讯云 TI-ONE 每个并发跑 15 到 20 分钟

腾讯云文档中心在 2026 年 8 月 14 日更新了 TI-ONE 的「性能评测」。TI-ONE 是腾讯云的大模型训推平台。这一页讲怎么交压测任务、什么条件下停、报告里能看什么。页面没有贴出任何一次真实跑分。

概述写两种，配置表里是三种

性能评测用向导提交任务。文档说可以用自定义评测集给模型服务做压测，看吞吐量和延迟。概述写的压测模式是两种：固定并发压测，以及容量探测。后一句写「支持多配置任务组两种任务创建方式」，用来在不同上下文长度、不同压测模式下评同一个模型。页面没有单独解释「多配置任务组」这个名字。

同一页的评测配置里，压测模式写成三项：多并发模式、容量探测模式、日志数据回放。概述没有写日志回放。概述里的「固定并发」和配置表里的「多并发」也不是同一个用词。

评测集和模型都要事先备好

创建任务前要准备评测集，以及待评测的模型或服务。评测集要上传到自定义评测集。

内置评测集的名单不在这一页，只指向「内置的开源评测集介绍」。自定义评测集要填写它在 CFS、GooseFSx 或数据源里的路径。CFS 是腾讯云的文件存储。文档以 CFS 为例：先准备文件系统，在开发机里挂载并启动，再按「模型评测的格式要求」准备数据。格式原文不在这一页。

模型来源两条。一条是从 TI-ONE 在线服务里选已经启动的服务。另一条是自己填服务地址，所以要事先把地址记下来。

模板锁住评测集，直接评测可以加配置

入口是控制台左侧「模型服务 > 模型评测」，再打开「性能评测」。

任务名称按界面提示填。这一页没有写出字数和字符规则。备注可以不填。地域按服务列表当前选中的地域自动带入。同账号下的服务按地域隔离。

评测模式两选一。直接评测可以设置不同的固定并发和容量探测参数，再选卡型。从评测模板创建时，模板里已经配好参数，选卡型即可。选了模板和配置之后，评测集不能改，只能改压测模式和参数。直接评测则可以添加多个配置。

每个配置要起名。评测集可以从「配置管理」里选，也可以随机生成。随机生成要填分词路径，也就是模型 Tokenizer 配置文件的位置，支持 HuggingFace 路径。系统用这个路径加载分词器，计算随机数据变成 Token 之后的输入长度。随机数据长什么样，这一页没有写。

三档怎么加压，也怎么停

多并发模式是逐步加并发。每个并发测试跑 15 到 20 分钟，并记下性能指标。成功率低于阈值就停止加压。每一项性能指标取多次记录里的最大值。页面没有写出这个成功率阈值。

容量探测是逐步加压，看 tpm 直到预期负载。tpm 是每分钟 Token 数。负载百分比写成 60%、80%、100%、120%。到达预期负载之后，再跑 30 到 60 分钟，观察性能指标。页面没有写 15 到 20 分钟、30 到 60 分钟里实际取哪一个。

日志数据回放从 CLS 拉一段时间内的真实历史请求，存成评测集，再按真实流量的节奏或结构回放。CLS 是腾讯云的日志服务。用之前要先建评测项：添加评测集时选「从 CLS 中选择」，配好日志来源和时间范围。拉取是异步的。评测集状态变成「已就绪」之后，才能在创建任务时选用。没就绪的不能用来发起回放。

通用参数有输入长度和输出长度。输入长度是请求 Prompt 的 Token 长度，用来模拟不同上下文窗口。输出长度限制模型生成的最大 Token 数。

发送次序两种。排队发送：每个 worker 要收完这条请求的全部 Token，也就是这条请求结束后，才能发下一条。一次性发送：每个 worker 一收到当前请求的首个 Token，就发下一条。文档说后一种可以用来模拟 PD 分离架构下 Prefill 节点的性能。PD 分离是把预填充和解码拆开。页面没有这两种发送方式的对照数字。

容量探测还要填这些字段：负载，也就是目标压力；负载百分比，也就是当前水位；达到负载后的压测时长；起始并发数；递增步长；梯度时长。这一页没有默认值。

多并发要填「并发及请求数」。格式是「并发数:每并发请求数」。多条配置换行分隔。页面没有给一行例子。

日志回放的预热比例，是用评测集里前 N% 的请求做预热。预热请求只让服务进入稳定状态，不进最终统计。剩下的请求才统计。文档举的例子是 10%，也就是前 10% 预热，其余 90% 用于统计。

回放模式三种。时间戳保真回放按日志里的真实时间间隔发送，用来还原忙闲。多并发回放不考虑原来的到达时间，按并发上限持续压。按 Session 回放把同一个会话里的多轮请求保持先后顺序和上下文。

还要填三个字段名：时间戳、请求体、Session ID。页面没有给字段名例子。

并发可以按回放过程中的指标往下调，避免固定并发打得太满或长期打不满。目前支持首包时延 ttft（单位秒）和每分钟 Token 数 tpm。例子是一段 JSON：{"ttft": 2.0, "tpm": 100000}。文档的解释是：首包时延超过 2 秒，或每分钟 Token 数超过 100000，就自动降低并发。没有写降低多少。

另有一套预热配置，可以开或关。用途是填充缓存、建立连接池，避免冷启动进正式结果。要填预热并发、预热时长、预热评测集。它和上面的「预热比例」不是同一个字段。页面没有写两者同时打开时谁先生效。

终止条件满足任意一条就停止回放：达到最大时长、失败率过高、吞吐过低，或者自定义的首包时延、单 Token 时延、端到端时延阈值。对应字段还有最大并发数（碰到就停止施压）、总体测试时长、最大失败率、最低生成速度、最大 TTFT、最大 TPOT、最大 E2E。这些阈值没有默认数字。

评测指标可以多选。勾选一级指标，会选中它下面的全部二级指标。一级、二级的名单不在这一节。

默认同时请求 24 次，默认不重试

待评测模型可以加多个，用来对比。参数表有一句：「仅支持填写第三方服务地址进行评测」。紧接着又写，可以从在线服务选择，或填写服务地址。从在线服务选择时，选定服务名称和版本后，其他信息自动载入。填写服务地址时，要自己写服务地址、调用接口和鉴权信息。这一页没有解释这两句怎么同时成立。

模型名称会显示在评测报告里。可以选一条对比基线。可以设置 System Prompt。

推理超参包括这些。repetition_penalty 控制重复惩罚。max_tokens 控制输出文本的最长数量。temperature 越高越随机，越低越集中。top_p 和 top_k 越高，生成文本越多样；文档建议这两个参数和 temperature 只设置一个。do_sample 取 true 时用 sample；取 false 时用 greedy search，此时 top_p、top_k、temperature、repetition_penalty 不生效。这一页没有这些超参的默认数值。

性能参数两个，平台给了默认。MAX_CONCURRENCY 是评测过程中同时向模型发起的请求数上限，默认 24。设得过低，吞吐量下降，评测更久；设得过高，可能导致显存溢出或请求超时。MAX_RETRY_PER_QUERY 是每条数据请求异常时的最大重试次数，默认 0，也就是不重试。文档举的异常是请求超时或网络故障。

机器可以从 CVM 里选，也可以从 TIONE 平台购买。TIONE 要选算力规格和节点数量。CVM 要先创建资源组并购买节点。计费指向另一篇「计费概述」。这一页没有单价。

可以把某个并发上的数收成最终指标

任务列表展示任务名称、评测模式、机器来源、评测资源、进度、创建者、创建时间。可以复制、删除、编辑。运行失败可以重启。运行成功可以增加模型。

查看进度时能看到当前进度、状态、开始时间和结束时间。

点任务名称进入详情，有基本信息、整体评测结果和日志。整体评测进度可以下载 csv。整体指标可以按待评测模型和配置筛选。

不同并发数下的性能：鼠标停在某个数值上，点设置，可以把这个数值当成最终的整体指标值，并高亮。页面没有写这一步会不会改掉原始记录，也没有写它和多并发「取多次记录里的最大值」冲突时以哪边为准。

趋势查看写的是 13 个指标。点了名的有延迟分布 p50、p90、p95、p99，吞吐量里的 QPM（每分钟请求数）、TPM（每分钟 Token 数）、TPS（每秒 Token 数）、OutputTPM（每分钟输出 Token 数）、OutputTPS（每秒输出 Token 数），以及成功率。这些加起来不到 13 个，其余的名字没有写出。

有多个待评测模型时可以做多模型对比，筛选模型、配置和指标。

腾讯云，TI-ONE 文档，性能评测，2026-08-14，https://cloud.tencent.com/document/product/851/132711