2.51% 只赢平均识别错误：京东 JoyAI-Voice 2.0 让出英文词错误和说话人相似度

2.51% 只赢平均识别错误：京东 JoyAI-Voice 2.0 让出英文词错误和说话人相似度

这篇整理 Joy Future Academy、JD.com 的技术报告《JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation》。arXiv 编号 2610.08834，v1 的页脚日期是 2026 年 9 月 29 日。摘要页许可证是 CC BY 4.0。作者按姓氏字母序，Jingdong Li 是人名，单位以首页 Joy Future Academy, JD.com 为准。下面只记它怎么评语音克隆和语音设计，以及哪些项并没有领先。

JoyAI-Voice 2.0 是端到端语音生成模型。它把原始语音压成连续隐变量，不再做离散语音 token。规划用因果自回归 Transformer，渲染用局部扩散 Transformer，输出 48 kHz。报告同时给了两个变体：JoyAI-Voice2.0-Base 做零样本语音克隆，JoyAI-Voice2.0-VoiceDesign 做按自然语言指令设计音色。

Seed-TTS：平均识别错误最低，说话人相似度不是

零样本语音克隆用 Seed-TTS 测试集。Seed-TTS 是一套公开的语音生成测试集，这里用其中的 test-zh、test-en、test-hard。中文内容一致性用字错误率 CER，英文用词错误率 WER，说话人相似度 SIM 用基于 WavLM 的说话人验证模型。

表 2 里 JoyAI-Voice2.0-Base 的平均识别错误是 2.51%，是所评系统里最低的。按这项，最强基线是 dots.tts 的 2.95%，相对降幅是 14.9%。分项不是同一句话。

test-zh 的 CER 是 0.74%，低于 MiniMax-Speech 的 0.83%。test-hard 的 CER 是 5.53%，低于 CosyVoice3-1.5B 的 5.83%。test-en 的 WER 是 1.27%，这一项最低的是 Qwen3-TTS-12Hz-1.7B-Base 的 1.23%。图 1 给中文、困难集和平均打了星，英文词错误没有星。

说话人相似度方面，JoyAI-Voice2.0-Base 是中文 77.1、英文 73.9、困难集 73.4、平均 74.8。dots.tts 在中文 81.0、困难集 79.5、平均 79.2 上最高。英文最高的是 FireRedTTS3-Base 的 77.2，dots.tts 是 77.1。报告写相似度有竞争力，但不是前列，音色和韵律保真还有空间。

摘要写的是 average word error rate，表头写的是 CER/WER。平均 2.51% 把中文字错误和英文词错误放在同一列，不能单独当成英文词错误率。JoyAI 这一行的八个数是：中文 CER 0.74、SIM 77.1；英文 WER 1.27、SIM 73.9；困难集 CER 5.53、SIM 73.4；平均识别错误 2.51、SIM 74.8。

InstructTTSEval：六格里英文角色扮演不是第一

语音设计用 InstructTTSEval。这是按自然语言指令做语音合成的基准，指令分三档：声学参数指定 APS、描述性风格指令 DSD、角色扮演 RP。每个样本由大模型裁判判断合成语音是否和指令一致，报告的是指令遵循准确率，单位是百分数。原基准用的 Gemini-2.5-Pro-Preview-05-06 已停用，本文换成 Gemini-2.5-Pro。除 MiniMax-VoiceDesign、Qwen3-TTS-12Hz-1.7B-VoiceDesign、VoxCPM2 以外的基线数字，引自 FireRedTTS3 技术报告。该报告也换成 Gemini-2.5-Pro 重评。这不是本文把全部基线重新跑了一遍。

JoyAI-Voice2.0-VoiceDesign 的六格是：中文 APS 90.1、DSD 83.3、RP 69.8；英文 APS 84.4、DSD 82.3、RP 63.4。中英 APS 都是表里最高。中文 DSD 83.3 最高。英文 DSD 82.3 与 FireRedTTS3-Instruct 并列最高。中文 RP 69.8 最高。英文 RP 最高的是 FireRedTTS3-Instruct 的 72.0，JoyAI 是 63.4。报告把英文角色扮演写成仍待改进。图 1b 给前五项打星，英文 RP 没有星。「中英属性保真度达到已发表系统里的高位」不能读成六格都第一。

MDVD-Eval：总分 0.893，领先的是其中 5 维

MDVD-Eval 全称 MultiDim-VoiceDesign-Eval，是这篇报告自己提出的多维语音设计基准。它覆盖口音、年龄、性别、个性、情绪、语速、身份、音色、音量、风格 10 个感知维度。每条指令组合 2 到 4 个属性，一共 1000 条中文案例。裁判把指令拆成属性，逐项判断合成语音里听不听得出来。单条原子分是命中属性占该条属性数的比例。

裁判和人的一致性，用 9 名专业音频研究员的标注来对。表 1 里 Gemini-2.5-Pro 的案例级 Judge Agreement 是 0.561，属性级 Atomic Agreement 是 0.799。Gemini-3.1-Pro-Preview 的案例级更高，是 0.635，属性级只有 0.731。Gemini-3-Flash-Preview 是 0.516 和 0.765。报告因为属性级最高而采用 Gemini-2.5-Pro。案例级 0.561 没有被写成已经和人对齐。

表 4 的总分：JoyAI-Voice2.0-VoiceDesign 0.893，VoxCPM2 0.889，Qwen3-TTS-12Hz-1.7B-VoiceDesign 0.849，MiniMax-VoiceDesign 0.841，MiMo-V2.5-TTS-VoiceDesign 0.825。0.893 比第二名高 0.004。报告说 10 维里领先 5 维，并点名年龄和性别优势特别明显。按表 4 标成最高的格子，这 5 维是口音 0.741、年龄 0.953、性别 0.997、个性 0.972、音量 0.885。性别与 MiMo-V2.5-TTS-VoiceDesign 并列，不是单独一家。口音下一档是 VoxCPM2 的 0.723，年龄下一档是 0.918，音量下一档是 0.879。

没有领先的五项是：情绪 0.944，低于 VoxCPM2 的 0.955；语速 0.915，低于 0.952；身份 0.880，低于 MiniMax 的 0.897，并与 MiMo 的 0.880 并列；音色 0.739，低于 VoxCPM2 的 0.743；风格 0.908，低于 MiniMax 的 0.958 和 VoxCPM2 的 0.933。报告写性别在多数系统上接近满分，音色是当前语音设计系统共同的难点。MiniMax 和 MiMo 是商业系统，走官方 API 评的。

误差累积和训练日程不进榜单数字

连续自回归会把每一步的偏差带进下一步的条件，长 rollout 上误差会累积。报告用语义-声学联合表示来处理这件事。语义编码器基于 Whisper-large-v3，监督只放在 ASR 转写目标上，推理时丢掉 ASR decoder head。声学编码器补回被滤掉的频谱、音色和微韵律。AudioVAE 把波形压到 25 Hz，每两帧打成一个 patch，patch 率 12.5 Hz，解码回 48 kHz。规划骨干从 Qwen2.5-1.5B 初始化。

训练是 patch 级 flow-matching 加结束预测，再做监督微调，分出 Base 和指令条件两个变体，然后用 DiffusionNFT 做强化学习。奖励是负词错误率和说话人嵌入余弦相似度。报告观察到强化学习后段 ASR 奖励波动、对继续进步提供的信息变少，说话人相似度还能给出更细的反馈。所以前几百步权重比 λasr:λss 是 5:1，之后改成 1:5。这是训练日程，报告没有把它做成 Seed-TTS 上的消融分。

数据写成数百万小时。流水线包含格式统一、背景音乐分离、说话人日志、DNSMOS 质量过滤，以及多个 ASR 交叉验证后保留最一致的转写。报告没有给出精确小时数，也没有给出 Seed-TTS 三个子集的样本条数。首包延迟写成毫秒级，报告没有给出实测毫秒数。

这些句子不能被读成什么

2.51% 不是 Seed-TTS 上的内容错误和说话人相似度一起全胜，也不是英文词错误率。相对降 14.9% 的分母是 dots.tts 的平均识别错误 2.95%，不是每一项各自的最强基线。说话人相似度平均 74.8，低于 dots.tts 的 79.2。英文角色扮演 63.4，低于 FireRedTTS3-Instruct 的 72.0。MDVD 总分 0.893 比 VoxCPM2 高 0.004，基准、1000 条中文案例和裁判协议都由本文提出。属性级人机一致是 79.9%，案例级是 0.561。部分 InstructTTSEval 基线数字引自另一份技术报告。没有线上失败比例，没有首包延迟的实测毫秒，也没有强化学习权重切换的对照实验。

出处：京东 Joy Future Academy，JoyAI-Voice 2.0 作者（按姓氏字母序），JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation，2026-09-29，https://arxiv.org/abs/2610.08834