裁判和人的模型级 PLCC 平均 0.918：腾讯混元 DramaChain 按生产链评短剧

裁判和人的模型级 PLCC 平均 0.918：腾讯混元 DramaChain 按生产链评短剧

腾讯混元的预印本 DramaChain Bench: An End-to-End Benchmark for Short-Drama Generation。arXiv 首版提交是 2026 年 9 月 1 日，这里读的是 2026 年 10 月 3 日的 v2（2609.00646v2）。作者包括 Haoyuan Shi、Mingtao Chen、Zhichao Hu、Yuhong Liu、Richeng Xuan 等，单位是腾讯混元，合作有北京电影学院、北京大学和深圳大学。DramaChain Bench 评的不是单独一段视频好不好看，而是剧本、分镜、关键帧、镜头视频和成片这条链上，每一段有没有守住最初的剧本，拼起来还连不连贯。

63 个叶子，5569 条，每条三人

商业短剧被写成固定工序：剧本、分镜、关键帧、镜头视频、成片。已有评测多半只打视频这一段，而且输入是人另写的，不是上游真正交下来的东西。这样回答不了两件事：这一段守的是最初剧本，还是只守了紧挨着的那句提示；不同镜头拼成多集之后还连不连。

维度系统是五条轴，在六个粒度上各落一次，合成 63 个叶子。五条轴是输入忠实、内部一致、生成合理、画面质量、电影表达。六个粒度对应分镜、单张关键帧、一集关键帧、镜头视频、一集视频、成片。

DramaChain Agent 从给定剧本自动跑完整条链，用来对齐商业平台的流程和成片质量，避免「评测用的流水线自己就是残的」。对照时只在被测那一段换模型，上游产物和提示字符串相同，其余段固定。基础集是 20 部剧、60 集。

标注：参考集 5569 条，每条三名专业标注员独立打分。叶子用五分、可判定的标准，扣分在适用时标到空间和时间，标签来自预先定好的缺陷表。全量是 17488 条有效分、255925 条可回溯归因，来自 543 名标注员。三人是每条的重复次数，543 是人池，不是每条 543 人。

自动裁判 DramaChain Agentic Judge 先用工具反复取证，再按每条自己的检查清单打 63 个叶子。相对人工分，模型级平均 PLCC 是 0.918。用这些标注做监督微调和 GRPO 训出的裁判，和人的一致性高于只靠提示的这个 Agentic Judge。正文没有把训出来的那两个 PLCC 写进摘要句，不能自己补。

评了 37 个生成模型：20 个文本、8 个图像、9 个视频。其中 22 个有人工标注（9 个文本、7 个图像、6 个视频），另外 15 个只由自动裁判打分，没有再对人核对。

最强链贴着可用线，视频段的条目相关低于人

有人工标注的模型里，自动分最高的一条链是：分镜 gpt-5.5-xhigh，关键帧 gpt-image-2，视频 seedance-2.0。同一模态里，领先者不随粒度变：gpt-image-2 在两档关键帧是 3.99 和 3.82；seedance-2.0 在三档视频是 3.24、3.11、3.30。成片自动分 3.30，只比可用线高 0.3，所以这条线在 3.0。最好的镜头视频是 3.24。最强的有标注链只是贴线通过。

扩大到含未人工标注的模型：分镜领先换成 gpt-6-astra-max，两档关键帧换成 gpt-image-2.5。镜头视频仍是 seedance-2.0。成片最高自动分是 seedance-2.5 的 3.70。一集视频的最高分 3.25，seedance-2.5 和 wan-3.0 并列。这 15 个没有人工核对，排名靠的是模型级相关，不是逐条对人。

有人工标注的模型，自动分平均沿链路下降：分镜 3.78，单张关键帧 3.62，一集关键帧 3.30，镜头视频 3.09，一集视频 2.93，成片回到 3.03。没有任何像素或视频段达到文本段的 3.78。三档视频都在可用线上下 0.1 以内，一集视频在线下面。作者给两个同时成立的原因：后面更难，因为有像素、时间和声音；缺陷会传下去，后一段吃前一段的输出，没有人负责把继承来的错改掉。

五条轴上，自动分的头尾差：输入忠实 1.22，内部一致 0.70，画面质量 0.64，生成合理 0.53，电影表达 0.42。有外部参照的轴分得开，没有参照的轴分得近。人的标注也是输入忠实分得最开，但电影表达在人那里排第二宽，在自动分里排最后。小差距不能都读成模型差不多。

总分会掩盖维度。单张关键帧上，seedream-5.0-pro 和 nano-banana-pro 的自动总分只差 0.02；前者在输入忠实上高 0.39，在生成合理上低 0.60。镜头视频上，kling-3.0-omni 和 pixverse-c1 总分只差 0.01；前者生成合理高 0.16，电影表达低 0.22。选模型要问强在哪一条轴。

表 3 是自动分和人工的一致。模型级 PLCC / SRCC：分镜 0.936 / 0.800，单张关键帧 0.959 / 0.750，一集关键帧 0.973 / 0.964，镜头视频 0.755 / 0.829，一集视频 0.935 / 0.943，成片 0.947 / 1.000。六段 PLCC 平均 0.918，SRCC 平均 0.881。成片的 SRCC 1.000 是排名完全对齐，不是每条都打成同一个分。

条目级要和「留一法人」比。一名标注员去预测另外两人的均分，这个相关叫 hb。自动裁判的条目 PLCC 除以 hb：分镜 2.35 倍，单张关键帧 1.19 倍，一集关键帧 1.48 倍，镜头视频 0.79 倍，一集视频 0.85 倍，成片 0.85 倍。文本和图像达到或超过人的这条基线，视频三段低于它。偏差和平均绝对误差、±0.5 以内的比例也按段不同：一集关键帧偏差 +0.57、绝对误差 0.733、±0.5 以内只有 38.2%；镜头视频偏差是 −0.35。配对条数不是全量：镜头视频 2186 条里配上 1149，一集视频 306 里配上 238，成片 206 里配上 201。文本和图像是收齐的全部。

这些数不能被读成什么

0.918 是六段模型级 PLCC 的平均，不是镜头视频的 0.755，也不是条目级。15 个只自动打分的模型没有逐条对人，不能把 seedance-2.5 的成片 3.70 说成已经过人标。可用线按成片 3.30「只高 0.3」推到 3.0，正文没有另给一条公式。

每个模型级相关只靠 6 到 9 个有标注的模型。有的叶子人自己都不稳定，拿来对齐会虚。覆盖不是随机缺的：seedream-5.0-lite 只出了 20 部里的 10 部；veo-3.1 和 wan2.7 只做首尾帧；seedance-2.0 限于动画，seedance-2.5 限于动画多参考。时长预算也不一样：wan-3.0 和 seedance-2.5 是 30 秒并重排分镜，veo-3.1 是 10 秒。分是在它们实际产出的条目上打的。

表 11 写明不覆盖：后期的音乐、剪辑、调色、字幕和封面；完播、留存、转化；非叙事形态；不经过关键帧的直接文生视频。63 维不是全集。自动裁判的消融只覆盖两段，不能当成各家裁判模型的总比较。

材料是合成的。剧本是项目原作，人物和画面是模型输出，没有真人肖像、声音或商业短剧资产。三家商业平台用的是公开接口跑他们的剧本。类型里有冲突、强迫和复仇的套式，按商业上线政策筛过，没有做更广的伤害审计。标注员是第三方供应商的签约人员。这套分数不预测商业成绩，也不评安全或内容政策。许可证是 arXiv 非排他分发许可。

出处：腾讯混元，Haoyuan Shi、Mingtao Chen、Zhichao Hu、Yuhong Liu、Richeng Xuan 等，DramaChain Bench: An End-to-End Benchmark for Short-Drama Generation，2026-09-01，https://arxiv.org/abs/2609.00646