样本级负向替换平均 75.80：阿里参与的 RARE 用固定十二项评开放剧本

样本级负向替换平均 75.80：阿里参与的 RARE 用固定十二项评开放剧本

中国科学院计算技术研究所、中国科学院大学与阿里 Qwen 业务单元的预印本 RARE: Reinforcement Learning with Adaptive Rubric Evolution for Open-Ended Generation。arXiv 提交日期是 2026 年 10 月 18 日（2610.25434v1），许可证是 CC BY 4.0。作者包括 Xueyun Tian、Bingbing Xu、Jiaming Liu、Chao Zhang、Weijia Feng、Yuanzhuo Wang、Huawei Shen 等。Huawei Shen 是计算所作者，不是华为公司。RARE 是一套在训练中改评分条目的强化学习。这篇要看的不是条目怎么写进提示词，而是固定的十二项评测分、它和训练时那套会变的条目是不是同一把尺子，以及 4B 策略有没有超过表里的大模型。

剧本按源视频切开，评测尺子训练前后不变

开放生成被写成三件事同时成立：没有自动裁判能判整体好坏，要同时满足多条要求，一个问题有多种合格回答。数学和代码那种可验证奖励用不上。条目奖励把每条要求打分再加总。学着学着，有的条目人人满分，就不再能把回答分开。

主实验是视频剧本。源视频来自 AVA-Encoder 用过的媒体集合，Gemini 3.1 Pro 从每条视频还原完整剧本，GPT-5.4 再写出 5 到 7 个不同的创作问题。问题只保留前期意图，不写结局、角色名和时间戳。按源视频切分，避免同一部片子的问题同时出现在训练和测试。

表 1 是视频数 / 问题数。

三类分开训练、分开评，因为二维动作、三维场面和真人表演的写法不一样。每个训练问题先由 GPT-5.4 凭初始策略采样的剧本写条目，再汇总成该类型共用的条目。静态版和演化版在同一更新层级上从同一批要求出发。

训练起点都是 Qwen3-4B-Instruct-2507。Base 是不经任务训练的检查点。SFT 用问题和还原剧本配对。所有强化学习都从 Base 起，共用数据、GRPO 和生成设置，报四个训练种子的平均。Sample-Static 每个问题一条固定条目。Task-Static 每个视频类型共用一条固定条目。样本级还有三种替换方向：Negative、Positive、Mixed，触发、预算和打分流程相同。任务级用跨问题的证据改那条共用条目。对照还有改写过的 MPO 和 RLER，放进同一个剧本任务。剧本训练时，Qwen3.7-Plus 给输出打分，GPT-5.4 负责改条目。

评测协议单独固定，不跟训练条目一起变。十二项，四类各三项：问题完成、叙事连贯、镜头可执行、戏剧效果。每项由 GPT-5.4 只看问题、匿名剧本和固定标准，打 0 到 2 的整数。类分和总分归一化到 0 到 100，类内平均，三类再等权。每个最终检查点对每条测试问题只生成一个剧本。指标和打分规则在各次评测里不变。

负向替换比静态高 3.82，仍低于表里的 GPT-5 和 Qwen3.8-Max

表 2 是问题平均。Avg. 三类等权。括号是相对同一层级静态基线的差。强化学习是四种子平均。

静态条目已经高于 Base：Task-Static 平均高 9.15，Sample-Static 高 8.32。Task-Static 再比 Sample-Static 高 0.83，所以在这组对照里，光是把条目写成每个问题一份，并没有优势。SFT 平均只有 43.98，低于 Base 的 63.66。每一类里，超过 80% 的 SFT 输出在要求覆盖上是 0 分，验证损失还在升，作者读成过拟合。这里用参考剧本做监督，不如显式条目奖励。

每一种 RARE 都在三类上高于对应的静态版。样本级最高 +3.82，任务级 +1.08。最强的样本级在三类上的增益是 3.55 到 4.02，不是靠一类拉高平均。MPO 和 RLER 的平均分低于它们对应的静态对照。Negative 比 Mixed、Positive 高 1.17 和 1.84，四类质量都高于 Sample-Static，也高于任务级演化。在这套协议下，这个 4B 策略三类都超过 GLM-5.2 和 Claude Sonnet 4.6。它没有超过 GPT-5 的 89.53，也没有超过 Qwen3.8-Max 的 91.07。

人和两名裁判偏向 Negative，另外两项任务增益很小

点分排名用成对比较复核。GPT-5.4 和 Claude Sonnet 5 盲比 Negative 和 Sample-Static，596 条都做了两种剧本顺序。两类视频里两名裁判都更常判 Negative 赢。顺序对调后，超过 80% 的偏好一致。

人工是五名计算机博士生，盲比 60 对，每类 20 对，每对三人独立打。多数票：Negative 38 对，Sample-Static 13 对，平局或未决 9 对。平局算半胜，偏好分 70.8%，自助法 95% 区间 60.0% 到 80.8%。

剧本之外，用 WritingBench 的一个切分和 Chasing Tail 各训一套，仍是样本级 Negative 对每题固定条目。官方协议下的宏平均：

演化高于静态，但 WritingBench 从 8.26 到 8.34，BiGGen 从 4.152 到 4.259。不能把剧本上的 +3.82 挪到这两项。

这些数不能被读成什么

75.80 是三类等权、四种子平均、十二项固定尺子上的分。训练时的条目会换，评测尺子不换。GPT-5.4 既生成问题和初始条目、又改训练条目、又当评测裁判，点分和成对比较里都有它。不能把 75.80 读成与出题者无关的第三方分。

4B 超过的是 GLM-5.2 和 Claude Sonnet 4.6，不是表里全部分数更高的参考模型。Qwen3.8-Max 的 91.07 是同一协议下的参考，不是 RARE 训出来的。SFT 低于 Base，只说明这组配对监督在要求覆盖上崩了，不能写成监督微调普遍更差。

+3.82 对的是 Sample-Static 的 71.98，不是对 Base，也不是对大模型。任务级的 +1.08 对的是 Task-Static。两种加号不能相加。人工 70.8% 来自 60 对，不是 596 条全标。区间下沿是 60.0%。成对比较的「超过 80% 顺序一致」没有给出每类的胜场数，图 5 的柱没有写进句子。

测试是 93 部视频、596 个问题。每个检查点每题只生成一条剧本。换裁判、换种子以外的解码，都会改 0 到 2 的格。WritingBench 和 BiGGen 的增益在小数点后，和剧本主表不是同一量纲。

出处：阿里 Qwen 业务单元、中国科学院计算技术研究所，Xueyun Tian、Bingbing Xu、Jiaming Liu、Chao Zhang、Weijia Feng、Yuanzhuo Wang、Huawei Shen 等，RARE: Reinforcement Learning with Adaptive Rubric Evolution for Open-Ended Generation，2026-10-18，https://arxiv.org/abs/2610.25434