最高 58.30%，没有模型到 60%：蚂蚁参与的 VideoGAIA 把视频理解做成多轮工具任务

最高 58.30%，没有模型到 60%：蚂蚁参与的 VideoGAIA 把视频理解做成多轮工具任务

VideoGAIA（agentic Video understanding benchmark for General AI Assistants，用多轮工具调用评通用助手能不能把视频当证据）由香港中文大学、蚂蚁集团、清华大学等合作完成。Guangming Yao、Jingdong Chen、Yi Yuan 的单位是 Ant Group，Yi Yuan 与 Pheng-Ann Heng 为通讯作者。论文许可证为 CC BY 4.0，arXiv 提交日是 2026-08-12。

作者认为，Video-MME、VideoMMMU、MLVU 上最强多模态大模型准确率已接近 90%，单轮「看完视频答一题」不再够用。VideoGAIA 改成多轮过程：模型要反复看视频、调用外部工具、收集补充信息，再把多模态证据合到一起。

从 10 万条公开视频收到 271 道题

种子视频来自公开平台，共 10 万条。每条按每秒 1 帧采样，每个片段最多留 24 帧。长于 180 秒的视频最多处理 4 个片段，单条视频大约不超过 96 帧。Gemini-3.1-Pro 写逐帧描述，并做光学字符识别。

Claude-Opus-4.7 从描述和文字里抽 2 到 5 个可复用锚点，可以是物体、文字、标志、地点、人物、动作或空间关系。GPT-5.5 再提出目标属性和候选答案。找不到可靠事实的种子视频直接丢掉。题目必须依赖多个视频锚点，不能靠单帧或只靠题干推断。

外部证据用锚点描述加目标属性去搜。搜索走 Serper API，网页正文用 Jina API 转成文本。答案不直接写在题面里，模型得先从视频认出线索，再从网页取回目标信息。每条种子视频最多独立生成 3 道候选题。

质检：六维至少 8 分，三个模型闭卷都答对就删

硬约束是：至少两跳必须用到网页搜索或网页抽取；参考答案必须能在标题、搜索摘要或检索到的原文段落里找到；至少两个视频锚点、多帧观察；用视觉指代藏起答案实体；从视频证据走到外部网页。

过了硬约束后，Claude-Opus-4.8 按六维打分，每维 1 或 2 分，满分 12，低于 8 分不要。六维是：至少两个视频锚点且单帧解不了；至少三步推理把视频和网页接上；至少两步要搜索或整页抽取；题面只用视觉描述、不直接点名答案；答案唯一且对应一条规范事实；题目简短、语法正确、长度合适。

跨模态过滤再做三件事。Gemini-3.1-Pro 只看视频，GPT-5.5 只看网页，再逐个拿掉视频锚点。只靠视频、只靠网页，或所有锚点都可有可无，都删掉。

工具必要性再关外部工具，让 Gemini-3.1-Pro、GPT-5.5、Claude-Opus-4.7 只凭视频和自身知识作答。任一模型答对，这题就退回单轮视频理解，予以删除。

安全筛选去掉身份证件号、信用卡号，以及成人内容、血腥暴力和被模型安全过滤标出的视频。

10 万条种子过完模型过滤后只剩 847 道。每道由 3 名标注员独立重做：看视频、自己搜索、判断答案是否唯一且正确。三人一致通过的留下；两人通过的再审；一人或无人通过的丢弃。15 名标注员合计超过 100 小时，得到 271 道测试题。其中 L1 为 62 道，L2 为 209 道，L2 占 77.12%。

六类分布是：地理 63、日常生活 61、文化 58、历史 44、技术 39、经济 6。视频时长平均 34.90 秒，范围 2.74 到 566.68 秒。英文问题平均 45.06 个 token，参考答案平均 3.73 个 token。题面长是因为要写多个视觉锚点和要检索的外部属性，答案保持短而规范，不用选择题提示。

同一套 ReAct 循环评 20 个模型

20 个前沿多模态模型用同一套 ReAct 循环。每题先给问题和均匀抽的 20 帧粗看画面，然后可以交替推理和三种工具：网页搜索、打开网页取正文、thinking with videos。视频工具只在模型选定的时间段里再抽最多 20 帧，只给画面，不给音频。每题最多 40 步。提示词、工具、帧分辨率和步数上限对所有模型相同。工具返回不原样塞进轨迹，由被测模型自己先摘要，再进入下一轮。

指标是 pass@1，每题三次独立运行取平均。裁判是 GPT-5.5；主裁判多次重试后仍空或不可用时，才用 DeepSeek-V4-Pro。

总分都低于 60%，调用次数多不等于更准

总分最高的是 Seed2.0-Pro，58.30%。其后是 Qwen3.7-Plus 56.09%、Kimi-K3 54.61%。其余总分依次为：Qwen3.5-Plus 与 GPT-5.4 均为 52.03%，Kimi-K2.6 为 52.77%，GPT-5.5 为 53.14%，Qwen3.5-397B 与 Qwen3.8-Max、GLM-5V-Turbo 均为 50.18%，Gemini-3.1-Pro 与 GPT-5.2 均为 50.92%，Kimi-K2.5 为 49.82%，Qwen3.6-Plus 为 49.08%，MiMo-V2.5 为 48.71%，Claude-Opus-4.6 为 47.97%，GLM-4.6V 为 46.86%，Gemini-3.5-Flash 为 43.91%，Claude-Opus-4.8 为 36.90%，Claude-Opus-4.7 为 34.69%。没有模型达到 60%。

代际并不一律变好。Kimi 从 K2.5 的 49.82% 到 K2.6 的 52.77%、再到 K3 的 54.61%。GLM 从 4.6V 的 46.86% 到 5V-Turbo 的 50.18%。文中给出的两代 Gemini 是 43.91% 对 50.92%。但 Claude-Opus-4.7、4.8 分别是 34.69% 和 36.90%，都低于 Claude-Opus-4.6 的 47.97%。作者据此说，通用能力变强不会自动变成可靠的多模态工具使用。

分类也不均匀。Seed2.0-Pro 在地理和技术上领先，Kimi-K3 在日常生活上最强，GPT-5.4 在文化和历史上最好。经济只有 6 题，分类百分比不能单独当结论。

L1 到 L2 每个模型都掉分。三个总分最高的模型里，Seed2.0-Pro 从 75.81% 降到 53.11%，Qwen3.7-Plus 从 79.03% 降到 49.28%，Kimi-K3 从 77.42% 降到 47.85%。落差约 22.70 到 29.75 个百分点。L2 更常要求解开间接视觉指代、做几次有目标的搜索，并把视频观察和网页对上。

五个代表模型在全部 271 条轨迹上的显式工具调用里，网页搜索占 60.5% 到 90.6%，打开网页从不超过 14.0%。Kimi-K3 把 25.5% 的调用给了回看视频。Gemini-3.1-Pro 打了 2557 次调用，其中 90.6% 是搜索；GPT-5.5 只有 262 次，准确率却更高。调用预算更大不等于成功。

五个模型共 615 条错误预测，每条只标一个主因。视频感知对每个模型都是最大来源，占 36.8% 到 48.0%。网页检索占 20.3% 到 31.0%，证据推理占 14.2% 到 28.6%。答案表述只占 2.4% 到 3.3%，所以多数失败不是表面措辞对不上。GPT-5.5 的智能体执行错误占 13.4%，主要是动作格式错误和解析失败；其他模型这一类低于 5%。

案例里，画面有本田标识、「Made in Japan」外壳、RC Valve 和红色车身，仍分不清 CR125 和 CR250。Seed2.0-Pro 先搜索确认两者都有 RC Valve，回看确认没有可读排量，再搜索排气几何，第二次回看看到与 CR250 相关的急弯，答出 249 cc。Claude-Opus-4.8 让视频工具去读一个可能的钢印，把反光区域读成「MAX 125 cc」，自己的观察也写了眩光和不确定，却没有再取外部证据，也没有检验 CR250，就停了。

附录里的成本只算输出 token：把各轮可见输出 token 加总，再乘公开的标准输出单价，不含输入 token、外部工具、裁判调用和隐藏推理。回复长度与准确率的相关为负，但统计上不显著；输出总成本取对数后的负相关更强一些，仍不显著。Seed2.0-Pro 每题 391 个输出 token，271 题输出成本估计 0.251 美元；Qwen3.7-Plus 是 426 个 token 和 0.136 美元。Gemini-3.5-Flash 和 Claude-Opus-4.6 轨迹更长或更贵，准确率并没有跟着上去。

这套尺子没覆盖的部分

作者写明两处限制。一是题目没有系统覆盖多语言，也不以音频为主要证据；视频工具本身就不提供音频。二是为了跨模型可比，只用简单的 ReAct 循环，没有放进 Codex 或 OpenClaw 这类上下文管理、工具编排和长程规划更强的系统。更广的模态、语言和更复杂的智能体外壳留作以后。经济类只有 6 题，分类百分比要单独小心。

蚂蚁，Fan Zhang、Guangming Yao、Jinyang Wu 等，VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding，2026-08-12，https://arxiv.org/abs/2608.14718