英文 L3 掉到 42.86：蚂蚁参与的 UltraText 用 432 条提示测文字

英文 L3 掉到 42.86：蚂蚁参与的 UltraText 用 432 条提示测文字

UltraText Bench（只给提示、要求画面里多块文字都写对的基准）由西湖大学牵头，蚂蚁集团、浙江大学、上海创智学院、香港科技大学、中国科学院自动化研究所、微信 AI、MBZUAI、香港城市大学和北京大学参与。许可证为 CC BY 4.0，arXiv 提交日是 2026-10-07。同等贡献作者 Yihao Hu 的单位是西湖大学与蚂蚁集团。代码在 https://github.com/LINs-lab/UltraText_Bench 。

它测的是文生图能不能按提示放进 4 到 12 块指定文字。提示是模型唯一输入。结构化参考只给评测用，不喂给生成模型。

432 条提示怎么造

24 类场景分 6 个域：标识、文档印刷、商业、数字界面、结构化数据、创意特殊。每类 3 个难度，中英各写，每格 3 条提示。24×3×2×3=432。每种语言 216 条。每条提示生成 4 张图，一种模型配置完整跑完是每种语言 864 张、共 1,728 张。

难度和字数一起涨，所以级别不能拆开看成纯字数或纯区域数。英文设计带是 250–600、600–1200、1200 以上个标注字符；中文是 350–600、550–900、600 以上。中文带有重叠，L3 没有上界。实际统计按提示：英文 L1 平均 489.90 字、4.67 个区域，范围 278–592 字、4–7 区；L2 是 1,023.44 字、7.10 区；L3 是 2,386.68 字、9.38 区，最长 5,230 字。中文 L1/L2/L3 平均字数是 394.62、627.25、743.62，区域平均 4.93、6.17、8.40。全部 432 条共 407,918 个标注字符、2,926 个区域，平均每条 944.25 字、6.77 区。字符含空格和标点。

中英提示分开写，店名、价格和语序按各自场景改，不是逐句翻译。432 条都做了人工检查：场景自然、目标字符串完整、标注齐全、落在对应字数带里。

分数是裁判打的，不是字准百分比

裁判是 Qwen-Image-Bench 里的 Q-Judger。它看整张图和完整参考，打 6 个 0–100 的图像级分：文字准确 TA、完整 TC、可读 TR、位置 PC、版式 LQ、场景融合 SI。没有逐区域分，也没有逐字转写。无效回复不记分，只拉低覆盖率。

四维是：保真 (TA+TC)/2，权重 60%；清晰度就是 TR，权重 30%；空间 (PC+LQ)/2，权重 5%；场景就是 SI，权重 5%。综合分按这四个权重相加。这些是视觉语言模型评分，不是正确字符的百分比。量表没有中间档阈值，也没有明确的数字符规则。

一张菜单示例里 TA=10、TC=100，保真被平均成 55。只报 55 会盖住准确和完整差很远。附录里的分档只供阅读，不写进裁判提示。

每条提示先对有效图片取平均，再按提示宏平均，使每条有分的提示权重相同。双语结果把中英两个宏平均再等权平均。没有有效分的提示只进覆盖率分母。图像覆盖率是计划图片里有有效分的比例，提示覆盖率是至少一张有效图的提示比例。正文给的是描述性均值，没有置信区间。同一提示的多张图不是独立样本。

10 名参与者看了自动分数。正文没有报告评分员之间、或人和裁判之间的定量一致率。附录例子里，营业时间牌被放在左下而不是要求的右下；有的图裁判给了 0 分准确和完整，画面上仍有相关文字；有的小字已经糊了，裁判仍给满分。这些是挑选出来的局部错误，不估计出现频率。

24 个配置：清晰可以很高，字仍然错

表 5 的前五列是综合、保真、清晰、空间、场景，都是中英等权。后面六列是 L1 到 L3 的中英综合。表注把三级写成 Hard、Very Hard、Extreme。失败只影响覆盖率，不改质量分。下面只列综合、保真、清晰。

开放权重：Boogu-Image-0.1-Base 77.89、75.77、78.31。Qwen-Image-2512 67.96、59.30、79.89。Boogu-Image-0.1-Turbo 67.79、66.27、64.86。Z-Image-Base 61.92、55.51、70.60。Z-Image-Turbo 54.38、40.75、74.41。HiDream-O1-Image 45.56、33.26、62.56。LLaDA-Image 43.92、31.65、59.87。LLaDA-Image-Turbo 41.29、24.03、67.24。Qwen-Image 41.27、33.75、50.07。FLUX.2 [Dev] 41.03、27.86、60.81。HiDream-O1-Image-Dev 40.44、24.58、63.06。Hunyuan-Image-3.0 29.93、20.43、39.32。FLUX.2 [Klein] 9B 22.94、14.60、32.02。4B 19.58、10.86、29.66。FLUX.1 [Dev] 18.17、0.93、49.19。SD3.5 Large 7.48、0.35、18.53。

接口模型：GPT Image 2 [Low] 99.35、99.23、99.52。Nano Banana 2 97.00、95.90、98.68。Seedream 5.0 Pro 91.45、88.92、94.79。Qwen-Image-2.0-Pro 90.21、89.69、89.78。Qwen-Image-3.0 88.33、87.81、87.63。WAN-2.7-Image-Pro 85.73、79.72、94.84。GPT Image 1.5 [High] 57.96、48.86、69.69。GPT Image 1 [High] 37.91、22.91、60.01。

Z-Image-Turbo 的清晰度 74.41，比 Base 的 70.60 高 3.81；保真 40.75，比 Base 的 55.51 低 14.76。LLaDA-Image 的 Turbo 保真低 7.62，清晰度高 7.37。Boogu-Image-0.1 的 Turbo 保真低 9.50，清晰度从 78.31 降到 64.86。开放权重里保真最高的是 Boogu Base 的 75.77，高于 Qwen-Image-2512 的 59.30；后者清晰度 79.89，略高于 Boogu 的 78.31。Qwen-Image-2512 的场景分 88.93，也高于自己的保真。

Qwen-Image-2512 的英文综合从 L1 的 86.50 降到 L3 的 42.86，中文从 89.47 降到 49.90。Z-Image-Base 的英文综合从 82.92 降到 26.34。L3 上 Boogu Base 英文 57.67、中文 83.23；GPT Image 1.5 [High] 英文 77.21、中文 18.22。两边提示不是互译，字数带也不同，不能读成同题的语言差距。

GPT Image 2 [Low] 综合 99.35，四维都领先，所以非负权重怎么改它仍是第一。1,723 张有效图里 1,440 张（83.6%）六个原始分都是 100。英文图像覆盖 859/864，中文 864/864。五次英文失败里，四次安全拒绝落在同一条提示，另一次落在另一条，提示覆盖率是 215/216 和 216/216。开放权重在等权、只看保真、以及 40/30/15/15 下，领先的仍是 Boogu-Image-0.1-Base。正文没有给出这三套替代权重的具体综合分。

各模型用各自的默认采样。分辨率、画幅和接口行为可以不同，结果比的是这些配置，不是锁死分辨率后的同一条件。

限制

每格只有 3 条提示、完整运行 12 张图。语言档 72 条，单语 216 条。同一提示的重复图相关，接近的分差需要跨提示的不确定性，正文没给。只有一个视觉语言模型裁判，没有定量的人机一致率。满分不是测出来的字准率。中英内容和字数带都不同，难度同时改变字数和区域数。区域级分数、视频里的文字是否保持，都还没做。因果上把保真差归到注意力、分词或 VAE，论文写明没有在这里验证。

蚂蚁，Deyuan Liu、Yihao Hu 等，UltraText Bench: A Comprehensive Bilingual Benchmark for Evaluating Visual Text Rendering in Image Generation，2026-10-07，https://arxiv.org/abs/2610.09823