视频 Agent 别只看终榜：进化过程和留出集要拆开

视频 Agent 别只看终榜：阿里把进化过程和留出集拆开评

阿里巴巴集团 Yuvion 团队在 2026 年 8 月 5 日提交的论文要评的不是「换一个更大的视频模型」，而是：面对一种视频分布，Agent 能不能自己改设计，并且改完之后在没参与进化的题上变好。他们把这套自动进化框架叫做 MetaVideoAgent，把配套基准叫做 VA-EvoBench。长视频理解要在很长、多模态的视频里找到稀疏、和问题相关的证据。真实视频在各模态的信息密度、内容结构和证据形态上差很多，固定设计一旦配错，就会多做无用处理，甚至直接失败。

作者把「把自动进化从文本任务搬到视频」拆成三件难事。整段长视频跑一遍，候选方案贵，进化慢。失败会在彼此耦合的证据处理阶段之间传递，根因看不清。预处理、分模态感知工具和证据定位策略缠在一起，改代码不容易改对。

进化怎么走，以及哪一步不许看留出集

框架先为目标准备一个初始视频 Agent，再在迭代里用三个专门角色。Teacher Video Agent 复查失败轨迹。Diagnosis Agent 跨样本找反复出现的原因。Evolution Agent 做代码级修改。每个候选要过工程检查、最小验证，以及在进化集上的完整对照，才允许晋升。归档检查点在留出集上的结果只由外部评测器事后记录，不进入诊断、晋升、停止或回滚。

分布画像不用答案。对每条进化视频均匀抽 5 帧，连同非答案元数据和对应问题写成记录。目标分布画像是这些记录的集合。每条记录保留概览帧、问题和选项。答案和证据标注在这一步不给。Distribution-Aware Design 从中归纳感知模态、证据粒度和定位模式上的分布级需求，再从论文、项目页和官方文档里检索有出处的设计证据。初始 Agent 可以从空实现做起，也可以改一个已有视频 Agent，例如 DVD。可执行版本先修复并做冒烟测试，再进入进化。

问题级复查发生在进化集上。当前 Agent 只看到视频、问题和选项。答错之后，Teacher 才拿到轨迹、问题、金标答案、标注的证据区间和当前 Agent。它用答案和证据区间造一条 Gold Path，写出做对所需要的观察和推理，再审计学生轨迹，标出最早一步已经支撑不了正确答案的位置。Teacher 可以回头用自适应采样看原始证据，或检查学生对齐时间的视频结构存储。输出包括最早失支撑的步骤、因果失败、负责模块，以及一个候选的最小验证任务。

最小验证任务尽量把失败收成一块局部多模态输入和期望输出。隔离不可靠时，保留原来的视频问答样本。这些任务只提供低成本的局部证据，晋升仍然必须看完整视频问答。Diagnosis Agent 把复查、最小任务、当前设计和进化历史合在一起，聚类反复出现的因果失败，把可修的工程故障和设计缺陷分开，并选出一个主要负责模块。诊断被写成五元组：主模块、反复出现的失败、合并后的最小验证集、代码范围和依赖接口约束、验证与成本要求。轨迹检查、证据再看、定向文献检索和能力验证，只在汇总复查不够时才调用。

Evolution Agent 只改这个主模块。依赖模块仅在必须保住接口或端到端可跑时才动。工程门和最小验证门可以提前拒绝，但只有进化集上的完整比较能批准晋升。通过则用候选替换当前 Agent，否则保持原样。复查、诊断、代码差异、验证轨迹和决定都留在历史里。被接受的检查点可以留给外部做留出报告，但这个结果不能影响任何进化决定。

VA-EvoBench 怎么切，主指标是什么

VA-EvoBench 从 CG-Bench 派生，CG-Bench 是面向长视频理解、带线索标注的问答基准。这里收成八个目标分布，视频在进化集和留出集之间不相交。八类按反复出现的内容形态、模态构成和证据定位需求来分，覆盖对话、物体、屏幕、叙事、动作和讲解为中心的证据，各自独立进化。附录给出的规模是：进化集每类 36 到 50 题、共 356 题；留出集每类 71 到 135 题、共 867 题。视频数上，进化集合计 38 条，留出集合计 92 条。具体是 Interview 5/41 对 14/135，Product Presentation 5/50 对 12/103，Software Tutorial 5/50 对 14/132，Dramatic Narrative 5/50 对 12/119，Gameplay 5/43 对 9/85，Stage Performance 5/42 对 11/103，Sports Broadcast 4/44 对 8/71，Course Lecture 4/36 对 12/119。前一个数字是视频数，后一个是题数。

协议固定迭代次数 K = 4。主结果用最终 Agent 的留出准确率，不拿中途留出最高分当交卷模型。进化效率另算：把各阶段 token 累加成预算，纵轴是该预算内进化集上到当时为止的最好准确率。这条曲线不负责选最终 Agent。部署成本看每题 token 和每题帧数。

留出集数字：八个分布都涨，但终榜不是最好检查点

表 1 的宏平均是八个分布准确率的不加权平均。MetaVideoAgent 终榜 51.47%。按题加权是 446/867，即 51.44%。它比直接调用里最强的 Gemini 3.1 Pro（38.98%）高 12.49 个百分点，也高于全部固定视频 Agent，同时在被比较的视频 Agent 里每题 token 和帧数最少：74.47K token、29.11 帧。固定设计里最强的是 WorldMM，宏平均 45.08%，每题 102.26K token、42.77 帧。DVD 为 44.15%、214.19K、38.75 帧；Symphony 为 41.34%、322.94K、830.18 帧；M3-Agent 为 30.92%、131.94K、36.23 帧。直接调用的闭源模型宏平均从 GPT-5.6-Sol 的 24.58% 到 Gemini 3.1 Pro 的 38.98%，开源多模态模型从 Qwen3-VL-235B-Instruct 的 23.92% 到 Qwen3-VL-235B-Thinking 的 31.55%。这些直接调用的每题帧数是固定抽样（50、100 或 120），不是 Agent 自己决定看多少帧。

八个分布上，最终留出准确率和从初始到最终的变化（附录表 8）是：

• Interview：64/135，47.41%，40.00 到 47.41。
• Product Presentation：58/103，56.31%，48.54 到 56.31。
• Software Tutorial：70/132，53.03%，42.42 到 53.03。
• Dramatic Narrative：48/119，40.34%，37.82 到 40.34。
• Stage Performance：59/103，57.28%，23.30 到 57.28。
• Gameplay：40/85，47.06%，31.76 到 47.06。
• Sports Broadcast：36/71，50.70%，40.85 到 50.70。
• Course Lecture：71/119，59.66%，42.86 到 59.66。

只读的逐轮留出轨迹（表 9）说明终榜不是每条曲线的最高点。宏平均从初始 38.44%，经 43.39、43.67、44.42，到第 4 轮 51.47%，共加 13.03 个百分点。Dramatic Narrative 在第 3 轮到过 46.22%，最终回到 40.34%。Gameplay 依次是 31.76、38.82、29.41、27.06、47.06。因为协议交的是固定四轮后的最终 Agent，而不是留出集上的最好检查点，所以「八个分布最终都高于各自初始」成立，但不能读成「每一轮都单调变好」。事后用归档检查点画的最好至今留出曲线，在满预算处的均值是 52.21%（95% 置信区间 48.63 到 55.78），高于终榜 51.47%，正是因为那条曲线取的是最好归档点。八次运行合计 28.33M token，平均每个分布 3.54M。相对最强固定视频 Agent 的 6.39 个百分点，就是 51.47 减 45.08。

定性例子只说明进化集里学到的行为可以迁到没给过反馈的留出题，不是新的主指标。Stage Performance 上，初始 Agent 把候选窗口当无序集合，答不出「第一套魔术里的第一个球」；进化后的设计先为序数问题排列事件，再感知被选中的事件，把开场球认成白色。Product Presentation 上，先分球衣正反面，再读背面文字。Sports Broadcast 上，跨镜头保持主体身份。附录还记录了一例 Gameplay 的进化集回归：复查发现后退化，候选在晋升前被拒绝。

消融只在 Course Lecture 上做，而且有一项故意没有数字

消融用同一套 119 道留出题（表 2）。完整 MetaVideoAgent 为 59.66%，每题 76.13K token、38.84 帧，连续留出准确率变化的方差 15.52 个百分点平方。去掉 Diagnosis 降到 57.14%（−2.52），但每题 token 升到 125.95K。去掉 Deep Research 降到 48.74%（−10.92）。Review、Diagnosis 和 Research 必须一起拿掉，因为后两者吃的是复查产物；这个盲目进化条件是 47.90%（−11.76），方差 293.24，远高于完整流程的 15.52。附录轨迹写明，盲目进化在第一次更新后就掉到 22.69%，之后恢复也不稳，所以中途某一个相对高的分数不能用来证明复查和诊断没用。最小验证探针没有数值消融：它既是局部设计假设的快测，也是查看候选真实轨迹的运行时观测，拿掉它就不再是原来的修复和验证路径。从 DVD 初始化再进化，留出准确率 63.03%（相对完整从零版本 +3.37），每题 75.28K token、2.21 帧，方差 131.43。这说明可以从已有 Agent 接着改，但不证明跨分布迁移。

这些结果不能外推成什么

附录 J 把限制写清楚了。方法针对证据需求足够反复出现、因而能做分布级诊断的目标分布。它不会自动发现这种分布，也没有证明在一个分布上进化出来的 Agent 能迁到另一个分布。宽混合体会把互不相容的失败模式搅在一起，现有协议直接用上去并不合适。诊断和最小验证集故意集中在反复出现的失败上，生成的策略可能变成很窄的任务分类器，压掉邻近问题需要的证据，或在后续迭代里累积偏差。有限的进化集能暴露已经看见的回归，但不能排除分布过拟合。复查不完整、时间指代含糊或因果归因错误，都会给出没用的诊断合同。静态检查、冒烟执行和最小验证能减少工程和局部运行失败，但不能证明提出的机制是错误的唯一原因。四次更新是实验预算，不是收敛保证，也不是框架不允许再进化。完整长视频评测仍然贵。论文另外在与 LVBench 视频不相交的混合进化集上做了边界实验，但正文没有把那次结果写成主表数字，主比较仍然是八个分布各自的最终留出准确率。

出处：阿里，Benlei Cui、Ruize Wang、Junjie Li、Jinhao Chen、Yinghao Chen、Longtao Huang、Yuwen Zhai、Jingqun Tang、Ruijian Jia、Weiwei Wu、Pengfei Sun、Haiwen Hong，MetaVideoAgent: Automated Video-Agent Evolution for Long-Form Video Understanding，2026-08-05，https://arxiv.org/abs/2608.04587