三套速度不要相加：蚂蚁公开 Ling-3.0-flash 的单请求测法

三套速度不要相加：蚂蚁公开 Ling-3.0-flash 的单请求测法

蚂蚁百灵在 2026 年 8 月 7 日开源 Ling-3.0-flash，总参数 124B，每个 token 激活约 5.1B，并放出基础版以及 FP8、FP4、INT4。正文里的速度来自三套不同环境。Intelligence Index 的能力分在图里，这里不补。

榜单速度、本地速度、实验速度

Artificial Analysis 榜上的输出速度是 353 tokens/s。同一套 Intelligence Index 只写出两项加权结果：每项任务的平均调用成本约 0.04 美元，平均解码时间约 1.4 分钟。指数本身是多少分，正文没有写。0.04 美元和 1.4 分钟已经是多项任务加权，不能再和 353 tokens/s 乘成「一个任务要几秒」。

本地测试用的是 MXFP4，机器是一台 128GB LPDDR5x 的 NVIDIA DGX Spark。生成速度约 80 tokens/s；长文本输入的 Prefill 约 2500 到 3500 tokens/s。文中说这台机器大约够 3 到 4 人用。输入多长、这 3 到 4 人是否同时请求，没有写清，所以 80 不能当成 API 的 353。

高性能实验单独给了条件：TP4、Batch Size 为 1、输入 8192、输出 1024，再加上推理优化和 DSpark 投机解码。平均输出超过 1100 tokens/s，平均 TPOT 约 0.8 毫秒。TPOT 是每个输出 token 的时间。GPU 具体型号没有写出，只说是指定的高性能配置。

1100 这一档故意不含工具时间

作者写明，1100 tokens/s 以上是这套配置下的 Batch-1 平均输出速率，用来看低延迟潜力，不是高并发服务器的总吞吐。网络时间、首 token 时间、外部工具执行时间都不在这个数字里。Agent 如果还要搜索、读终端或调 API，墙上时钟会比 8192 进、1024 出的生成时间更长。

他们为 Batch-1 做了两类优化。一类是推理工程：CPU 与 GPU overlap、算子级 overlap、KDA 算子优化和算子融合，减少单并发时的空等。另一类是投机解码：为这个模型训练的 DSpark Draft Model 一次给出一组候选 token，再由目标模型集中验证。通用场景用更稳的 Block Size；垂直场景可以用业务数据提高草稿预测。接受率没有给数字。

医疗流水线没有准确率

单机例子是在同一台 DGX Spark 上跑医疗研究数据处理：脱敏并分配动态 ID，抽出生命体征、血液生化和彩超，再按研究规则做初步分组。异常、复杂或证据不足的样本标成 Unclassified，交给人复核。正文没有准确率、样本量和漏检率。作者同时写明，这不替代专业判断或临床诊断，还要过法规、伦理、权限、日志和数据治理。

三种部署也不要混成一次成绩：验证产品用 API；数据不能出域、人数有限时用 MXFP4 或 INT4 本地部署；要极低单请求时延再用高性能配置。共创计划的 100 位、每人 1 亿 token，是体验额度，不是评测样本。

出处：蚂蚁，蚂蚁百灵（页面未署个人作者），Ling-3.0-flash 开源：为真实世界而生的开放智能，2026-08-07，https://developer.ant-ling.com/zh-CN/blogs/ling-3.0-flash-open-source