80 轮 gFID 从 14.41 收到 3.84：混元用 Focal Loss 把 ViT 和 VAE 绑在同一条 token 上测

80 轮 gFID 从 14.41 收到 3.84：混元用 Focal Loss 把 ViT 和 VAE 绑在同一条 token 上测

Twins 来自腾讯混元和香港中文大学。arXiv 初稿是 2026-07-24，版本 v1，许可证 CC BY 4.0。一作 Kaixiong Gong 在混元实习，通讯作者是 Xiangyu Yue。混元一侧还有 Xin Cai、Bin Lin、Mingzhe Zheng、Jian-Wei Zhang、Miles Yang、Zhao Zhong 和 Liefeng Bo。代码在 https://github.com/Tencent-Hunyuan/Twins 。

统一多模态模型想用同一套视觉 token 既做理解、又做生成。离散做法共用一个码本。连续做法常常拆开：ViT 特征负责语义，VAE 潜变量负责像素。Twins 不训练新的编码器，只把 SigLIP2 的 ViT 和 Flux.2 的 VAE 按通道拼到同一张 token 网格上。序列长度不变，注意力按 token 数计的二次开销也不变。

先看 DiT 会不会只学容易的那一半

拼接之后用 Diffusion Transformer 做流匹配，去预测整条 Twins。对照实验固定网络、学习率、噪声平移和其他超参。解码头用 DDT，引导用 autoguidance。

普通 MSE 会先把 SigLIP2 拟合好，VAE 那一半跟不上。原文把原因归成三件事：频谱上网络偏向低频的 ViT；ViT 的内在维度更低、更好学；ViT 和语义条件对齐，VAE 的不确定性和条件更独立。Focal Loss 改的是回归权重，误差大的 VAE 维度权重大，已经拟合好的 SigLIP 维度权重小。

重建：rFID 0.11，PSNR 不是这张表的最高

表 1 在 ImageNet-1K 验证集上报重建。Twins 是连续像素解码、下采样比 16，PSNR 31.46，SSIM 0.90，rFID 0.11。rFID 是重建图和原图分布的距离，越低越好。

RAE 直接从语义特征解码，PSNR 18.83，SSIM 0.50，rFID 0.57。正文用它说明只靠语义特征补不回高频。Wan2.2 是 31.25 / 0.88 / 0.75，SD-VAE 3 是 31.29 / 0.87 / 0.20。Twins 的 PSNR 接近这两行，rFID 更低。

同表还有更高的 PSNR。FLUX.1-VAE 是 32.74 / 0.92 / 0.18，Qwen-Image 是 32.18 / 0.90 / 1.46，UniFlow 的 InternViT 一行是 33.23 / 0.96 / 0.26。所以 31.46 不能写成这张表的最高保真。原文说的是接近专用生成自编码器，并靠拼接把语义和细节放进同一条 token。

理解：两行都叫 Twins，只有第二行加了 VAE

表 2 用 LLaVA 式流程。视觉编码器换成 Twins，语言模型是 Qwen2.5-7B，不是混元的语言模型。分辨率 384。预训练用 LLaVA-558k，指令微调用 Cambrian-737k，其余设置对齐 LLaVA-1.5。

表里有两行都叫 Twins。第一行只有 SigLIP2-SO400M：POPE 87.15，GQA 64.54，TQA 56.92，MMB 77.00，MME-S 1826.8，MME-P 1512.1。第二行加上 Flux.2 VAE：POPE 87.82，GQA 64.93，TQA 58.89，MMB 77.00，MME-S 1971.0，MME-P 1588.8。POPE 测物体是否真的在图里，GQA 是场景问答，MMB 是综合选择。TQA、MME-S、MME-P 的全称这一页没有写。

正文点名的提升是 GQA 64.93 对 64.54，TQA 58.89 对 56.92。MMB 两行都是 77.00，没有提升。这是和自己的 SigLIP2 行比，不是全表第一。同表 Janus-Pro 的 MMB 是 79.2，LLaVA-OneVision 的 MMB 是 80.8、MME-S 是 1998.0。TokenFlow-XL 用的是 Qwen2.5-14B，TQA 62.3，高于 58.89，模型大小也不一样。

生成：摘要的 10.57 只对应 80 轮那一档

表 3 是 ImageNet 256 的类条件生成。表上的 PSNR 列仍是重建分，Twins 各行都写 31.46，不要把它当成生成质量。gFID 越低越好，IS 越高越好。Prec 和 Rec 是精度和召回。

VAE 解码、不用引导。Flux.2 VAE 只训 VAE 潜变量：20 轮 gFID 9.35、IS 101.28；80 轮 gFID 3.99、IS 157.77。Twins 用 MSE：20 轮 23.69 / 77.03，80 轮 14.41 / 112.98，明显差于只训 VAE。Twins 用 Focal：20 轮 7.38 / 140.31，80 轮 3.84 / 184.06。80 轮上 14.41 减 3.84 等于 10.57，和摘要里的 “up to 10.57 gFID” 对得上。20 轮的差是 23.69 减 7.38，等于 16.31，比 10.57 更大，摘要没有用这个数。

加上引导之后，表里主要给了 80 轮。Flux.2 VAE 的 gFID 3.06、IS 321.87、Prec 0.86、Rec 0.54。Focal 的 gFID 1.59、IS 245.06、Prec 0.76、Rec 0.64。gFID 更好，IS 和 Prec 更差。MSE 的引导列是空的。

另一路用 SigLIP 解码。无引导、80 轮：SigLIP2 的 gFID 2.94，Twins MSE 2.86，Focal 2.50。有引导：SigLIP2 1.84，Focal 1.47，IS 从 215.54 到 248.95。这条路上 Focal 的 gFID 和 IS 同时更好。20 轮无引导时，SigLIP2 的 gFID 4.97 仍差于 Focal 的 4.31，但精度是 0.81 对 0.84，召回是 0.51 对 0.52，不是每一列都同一方向。

RAE 用 DINOv2-B，无引导 80 轮 gFID 2.16，低于 Focal 的 3.84；800 轮再加引导到 1.13。轮数和 Twins 的 80 轮不是同一预算。它的重建 PSNR 只有 18.83。

表 4 把分辨率放到 512。RAE 训 400 轮，gFID 1.13，IS 259.6。混元这组无引导只训 80 轮：Flux.2 VAE 的 gFID 4.57，Twins MSE 6.80，Focal 3.78、IS 187.85。有引导时表里只报了 Focal：gFID 1.79，IS 237.36，Prec 0.80，Rec 0.63。趋势和 256 一样，MSE 仍然差于只训 VAE，Focal 把 gFID 拉回来，但没有在相同轮数上超过 RAE 的 1.13。

限制

评测是类条件的 ImageNet 重建和生成，加上一套固定配方的多模态理解。没有线上 A/B，没有开放指令生成的人工评测。理解侧的语言模型是 Qwen2.5-7B。表 2 的第一行名字也叫 Twins，读的时候要把它当成去掉 VAE 的对照。摘要的 10.57 不是 20 轮和 80 轮里较大的那个差。有引导时，VAE 解码路径上 gFID 变好，IS 仍低于只训 Flux.2 VAE。512 的 RAE 多训了 320 轮。一作身份是实习，工作完成于混元实习期间。

腾讯混元，Kaixiong Gong、Xin Cai 等，Twins: Learn to Predict Unified Representations with Focal Loss，2026-07-24，https://arxiv.org/abs/2607.22531