Minerva-Ego：64 帧上最好的模型只有 40.1，人是 91.8

Minerva-Ego：自我中心视频上，64 帧最好的模型只有 40.1，人是 91.8

Arsha Nagrani、Jasper Uijlings、Shyamal Buch（同等贡献），Tobias Weyand、Sudheendra Vijayanarasimhan、Bo Hu、Ramin Mehran、David A Ross、Cordelia Schmid。Google DeepMind。许可证：CC BY 4.0。arXiv:2605.15342，2026 年 5 月 14 日。

Minerva-Ego 是一套评测自我中心视频（egocentric video，镜头戴在拍摄者身上、看到的是第一人称画面）复杂推理的基准。它在 HD-EPIC 的厨房视频上，由人写出 1,160 道五选一的多步题，并给每题配上带时间戳和物体分割掩码的推理轨迹。64 帧设定下，Gemini 2.5 Pro 的选择题准确率是 40.1%，人是 91.8%。把“看哪里、何时看”直接画在画面上，oracle（用标注真值当提示，不是模型自己找出来的）最高到 50.3%。数据在 https://github.com/google-deepmind/neptune 。

1 引言

看懂视频里的事件，包括很细的动作和很长的时间跨度，是人的基本能力。自我中心视角上的推理，是辅助型和具身智能体（embodied agent，身体或镜头处在场景里、要和物体互动的系统）能用起来的基础。

视频理解已经从短片段上的动作识别，走到更长时段上的能力，例如 LVBench、VideoMME 和 Neptune。多模态大语言模型（能同时读文字和图像或视频的模型）可以处理长达一小时的视频，并在这些基准上逐渐接近人。

长时段、自我中心视频上的复杂推理仍然缺评测。已有自我中心基准常常只看最终答案，不看中间推理。EgoTempo 开始做时间定位，但没有评更长上下文上的推理。

为了改进推理，模型会花更多时间“想”，也就是在给出最终答案前写出中间想法，推理时多用一些计算。MINERVA 把这种评测用在视频推理的错误类型上，但那些工作主要是外中心（exocentric，镜头在场景外面看）的。自我中心视频是近距离、频繁地碰物体，活动连成一片，模型必须能在时间上认出并盯住关键物体。

Minerva-Ego 建在 HD-EPIC 上，有 1,160 道人手写的复杂题，要在较长的时间跨度上推理。每题五个选项，并带有稠密的时空推理轨迹：时间用时间戳定位，空间用物体的分割掩码（segmentation mask，标出物体占了哪些像素）关联。

前沿视频模型（Gemini、GPT、Claude）在这套数据上表现差，和人的差距大。错误主要出在两处：感知上认错物体，以及把物体对到错误的时间。物体操作正是自我中心视频的核心，所以这两处尤其要紧。

作者用真值分割和预测分割，在画面上把相关物体标出来，提示模型看哪里、何时看。oracle 实验用真值和 SAM2 补出来的轨迹：把物体圈出来、写上类名，再加上时间选择（只把相关物体出现的帧优先送给模型），引言里写峰值提升 5.6%。换成开放词表分割模型 OWLv2 之后，时间选择和类名仍有小幅增益。

作者把这项工作概括成：第一套把人手写的复杂选择题，和稠密时空推理轨迹配在一起的自我中心基准。这种标注让评测不只报准确率，还能诊断错误。实验说明当前模型主要失败在感知定位上。

2 相关工作

2.1 近期的视频问答数据

TemporalBench 和 PerceptionTest 覆盖问答、描述和定位，但视频较短，大约几分钟。CinePile 和 VideoVista 也偏短，平均约 160 秒。VideoVista 覆盖 19 项理解和 8 项推理。这些基准，以及最长 52 分钟的 InfiniBench 和 Neptune，标注流水线里用了大语言模型，是半自动的。Minerva-Ego 全部人工标注，重点在质量。

TVBench 专门做必须看画面才能答的时间难题。E.T. bench 做多事件和对时间敏感的理解，人工标注，最长 795 秒。Video-MME 连接短视频和长视频。LVBench 平均 68 分钟。和这些工作相比，Minerva-Ego 提供带时空定位的人工推理轨迹，因此除了准确率，还能评推理。

图 2 统计推理轨迹：答案和轨迹的长度、轨迹里提到的时间戳、提到的物体。几乎每条轨迹至少有一个时间戳、至少一个物体，并且该物体有时空掩码。轨迹又长又细。每题平均 6.3 个时间戳、2.8 个物体。

2.2 自我中心数据

EgoSchema 来自 Ego4D，超过 5,000 道人工整理的五选一长视频题。EgoTempo 专评自我中心的时间理解，500 对问答，视频平均 45 秒。HourVideo 针对 20 到 120 分钟的视频，从 Ego4D 里人工挑选 500 段，共 12,976 道五选一。HD-EPIC 是野外采集的厨房自我中心数据，标注细到接近实验室环境。EgoVQA 有 600 对问答，问动作、位置、物体和计数，问法较宽，例如“我在做什么”，抓不住细的时间变化。EgoTaskQA 覆盖 2,000 多段视频里的动作、目标和信念。EgoMemoria 的题来自 Ego4D 的旁白。和 Minerva-Ego 不同，EgoTaskQA 和 EgoMemoria 的问答是机器生成的。EgoThink 从 595 段视频里抽出 700 张图，类别多，但是静图，没有时间信息。这些数据都没有给每道题配上 Minerva-Ego 这种细的时空推理轨迹。

2.3 视频上的推理轨迹

除了最终答案，很少有数据再给辅助标注。ScienceQA 是关于图像的科学题，附带讲解；用讲解来训练时，用更少的数据就能提高成绩。也有工作用自动流水线大规模生成较噪的辅助信息。Visual CoT 用现成模型给图像问答打伪标签框。VideoEspresso 把多个冻结模型串起来，给稀疏关键帧打框。VideoCoT 最接近这项工作，目标是给视频生成文字版的思维链，但差别明确：VideoCoT 是为训练做的半自动流水线，视频来自 Kinetics700，更短、领域更窄，自动写出的理由里常常有大量和这道题无关的视频内容。Minerva-Ego 是完全人工、用于评测的高质量集，轨迹针对这道题。

2.4 时空高亮

Set-of-Mark 这类视觉提示表明，在静图上叠上数字、掩码或框，能明显打开模型的定位能力。拿到自我中心视频上，物体会进出会出画面、被挡住、改变状态。这项工作把高亮扩到时空：不只用空间高亮告诉模型看哪里，还用时间上的帧选择告诉它何时看。它直接改像素，不改模型结构，也不重新训练，因此可以拿来探测 Gemini、GPT 这类固定的前沿模型在感知上失败在哪。

3 Minerva-Ego

3.1 规模

1,160 道题，覆盖 156 段不重复的自我中心视频。题设计成要多步才能解，五个选项里一个正确。每题另有一条推理轨迹，说明怎么得到正确答案，并引用视频时间戳和带真值分割掩码的物体。标注全部由受过训练的评分员手写。

视频来自 HD-EPIC。物体分割掩码沿用该数据集已有的真值。HD-EPIC 自己也有问答，但是用模板自动生成的，并不针对多步推理。为了把大模型的推理成本压在可承受范围，数据规模限制在大约 1,000 题这一量级，因为每题都要多步，还带细轨迹。

视频长度从 10 秒到 75 分钟。附录写明平均 20 分钟。推理轨迹平均 122 个词。一条轨迹平均引用 2.8 个物体，有的多到 20 个。

3.2 怎么建出来

流水线三步。

1. 选取。从 HD-EPIC 的全部视频出发，把已有的物体真值分割掩码叠到帧上。
2. 标注和核对。由高水平评分员写问题、答案和推理轨迹。写轨迹时，先拿到该视频的全部分割掩码，再引用答题需要的关键物体。质量复查用另一批标注者尝试答题；答错的题交给第三批，对照两份标注做调和，必要时改问题、选项或轨迹。整个标注和复查都是人工的，避免模型偏见。
3. 后处理。按先前工作的做法，滤掉模态偏见，例如只看题干和选项、不看视频也能答的题。细节在附录 6.2。

评分员是以英语为母语、有研究生学历的人。题目要用“我”来问，好像是戴镜头的人在问。轨迹里的“我”指写轨迹的评分员，“user”指戴镜头的人。每条轨迹至少有一个时间戳、至少一个关注物体，步骤要编号。一道题应同时用到至少两项技能，技能表有 12 项：时间推理、计数、因果、目标推理、自我中心与空间感知、事件是否发生、状态变化、阅读（光学字符识别，从画面里读文字）、数值推理（计数以外的运算）、物体识别、动作识别、反事实（“如果当时怎样”）。题目应难、要看多个时间段。

4 实验

两类实验：前沿模型评测，以及时空高亮。

前沿评测不只看最终答案对不对，还把模型写出的推理轨迹和真值轨迹比较，并看错误出在哪。另外做了输入帧数和“思考”开关的消融（ablation，一次只改一个因素，看成绩怎么变）。

高亮实验分两种。oracle：把标注里的物体位置、类名和相关帧直接提示给模型，看它能得多少好处。实用设定：用现成的分割工具，不用真值。

4.1 前沿模型

评测 Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-4.1、GPT-5、Claude Sonnet 4，以及开源视频模型 Qwen3。Qwen3 的结果用 vLLM 跑，版本是 Qwen/Qwen3-VL-235B-A22B-Thinking，最大序列长度 128k，输入是整段视频抽到每秒 1 帧。人类实验由 12 名评分员完成，和出题的人不相交，谁都没在做这道人评之前看过该视频，可以看到完整视频，可以反复看。

除 Qwen 外，比较时从每段视频均匀抽出 64 帧。不用音频，也不用语音识别转写，因为这些视频没有说话内容。GPT-5 的推理力度设为 medium，版本 gpt-5-2025-08-07。GPT-4.1 版本 gpt-4.1-2025-04-14，不支持推理。Claude Sonnet 4 版本 claude-sonnet-4-20250514，温度 1.0，思考预算 10,000。Gemini 2.5 Flash 和 Pro 用默认温度和采样。Claude Sonnet 和 Gemini 2.5 Pro 无法关掉思考，所以只报开着思考的结果。

表 1 只评最终答案的选择题准确率。随机猜是 20.0%，因为五个选项。

原文写 Gemini 2.5 Pro 以明显优势领先第二名 GPT-5，幅度写的是 +2.3 个百分点。表 1 上两行分别是 40.1 和 37.6。不开思考的 Flash 和不能推理的 GPT-4.1 接近。Flash 打开思考后提高 3.9 个百分点，从 31.7 到 35.6。开源 Qwen-3 几乎和 Claude、GPT-4.1 同一档。作者据此认为思考对这套复杂题有帮助，后面的消融用 Gemini 家族。

推理轨迹用 MINERVA 的 MiRA 量表来评。四个维度是感知正确性、时间定位、逻辑推理、完整性，每项 0、1、2 分。0 是完全不满足，1 是部分满足，2 是完全满足。主评分模型是 Gemini 2.5 Pro。图 3 左侧：四个模型在逻辑推理和完整性上较好，感知正确性最弱；四个维度上 Gemini 都看起来高于其他模型。为检查评分者偏向，改用 GPT-5 再评一次，模型之间的相对名次不变，见附录 9.1。选择题准确率本身不依赖评分模型。

物体召回另算。从真值轨迹里抽出相关物体，看模型轨迹有没有提到。物体级召回要匹配完整描述，例如“苹果的左半边”；名词级召回只匹配中心名词，例如“苹果”。四个模型只能提到真值轨迹里 20% 到 50% 的相关物体，这和感知分低对得上，也说明模型可能没有盯住视频里该看的物体。这是第 4.2 节在测试时把关键物体从空间和时间上标出来的原因。

表 2 只在 Gemini 上改输入帧数，因为成本。两个模型都继续从更多帧里受益，说明这套数据需要细的时间信息，也说明 Gemini 用得上很长的上下文。已有推理集例如 MINERVA 往往在大约 256 帧就平台。只给问题和选项、不给画面时，成绩只比随机略高；单帧也好不了多少，所以时间信息是必需的。Flash 在 1 帧时是 23.0，低于 0 帧的 24.5。

4.2 时空高亮

HD-EPIC 的真值分割较稀：物体每被移动一次，只在这段移动的第一帧和最后一帧有分割。作者用自己重新实现的 SAM2 把中间帧补上，于是物体在被移动时有可用的轨迹。推理轨迹里提到的物体，如果原来有标注，就连到对应物体编号。这个连接覆盖轨迹中 82% 的物体。高亮方式是红色掩码轮廓、框，或椭圆圈，另外把类名写在帧上。也可以不画，而按 Gemini 的框格式，把帧和文字形式的框、类名交错送进去。

因为物体在时间上有位置，可以优先抽取问题相关物体出现的帧；帧数预算还剩时，再均匀补其余帧。

表 3 是 oracle。Gemini 2.5 Pro，256 帧。表注写：圈、类名和时间选择可以合在一起，提升 5.6%。正文写三者合用达到 50.3%，相对不用高亮、也不做时间选择的 44.5%，提升 5.8%。两处原文不一致，这里都保留。50.3 减 44.5 等于 5.8 个百分点。

圈出物体比画掩码或框更好，准确率提高 1.2 到 1.4 个百分点。作者认为圈更接近日常的标注目的方式；掩码有时很噪，画面不自然。写类名相对不画任何标记提高 2.6 到 2.8 个百分点。只做时间选择，基线从 44.5% 到 47.4%，提高 2.9 个百分点。三者正交，合用是 50.3%。把框和类名以文字插在帧之间，不如直接画在画面上，作者认为框的文字格式更像是为单张图准备的。

图 4 的例子问：冲洗鸡蛋之后，除了鸡蛋本身，左手第一次碰到的是什么。正确答案是较小的鸡蛋盒。没有时空提示时，模型在 03:11 漏掉两只蛋中的一只，转到错误时间，注意到 04:12 的锅柄。高亮让两只蛋清楚，模型回到正确时间，并在 03:42 被标出的鸡蛋盒帮到。时间戳只是给人看的，送进模型的画面上只有红色标注。

实用设定不用真值。先把原题（不带推理轨迹）和视频交给 Gemini 2.5 Pro，请它列出“为了答对这道题，识别哪些物体类别会有用”。再交给 OWLv2 去检。去掉手、人，以及 HD-EPIC 里的固定装置（例如橱柜、抽屉）、储存空间（例如架子、钩子）和大电器（例如冰箱、微波炉）。检测阈值用偏保守的 0.6。结果是 26% 的帧里有检出物体；有物体的帧上平均 1.26 个物体。可视化沿用 oracle 里最好的圆圈加类名。

表 4 仍是 Gemini 2.5 Pro、256 帧。表注写时间选择加类名最多提高 2.5%。47.0 减 44.5 等于 2.5 个百分点。和 oracle 不同，圆圈在这里没有帮助。

只做时间选择，从 44.5% 到 46.5%，增加 2.0 个百分点。帧上再写类名，到 47.0%。圆圈没有帮助。文字框仍然不如画在画面上。

表 5 把上面最好的设置放在一起。提示模型去看相关物体和相关帧，能提高视频问答成绩。真值提示和推理时现跑的分割模型之间仍有差距，说明这些视觉语言模型还不擅长自己把注意力放到答题所需的物体和帧上。

为了看这套高亮是否能换到别的数据，作者在同样是自我中心、同样涉及物体操作的 EgoTempo 上做了初步实验。EgoTempo 没有真值时空推理轨迹，所以没有 oracle。物体类别仍由 Gemini 根据视频和问题列出，检测器相同，再送给 Gemini 2.5 Pro。视频更短，帧按每秒 1 帧抽取，但只送 32 帧。对错由 Gemini 2.5 Flash 当裁判。

表 6：基线 39.9%，加空间提示到 41.1%，再加时间选择到 42.1%。即便只有 32 帧的预算，时空高亮仍然提高成绩。

4.3 定性错误

图 6 用三条例子说明轨迹能指出模型弱在哪：自我中心视角下认不出动作、错过相关时间段、动作太快而抓不住。

第一题问喝水、把第二把刀放进洗碗机、往暖瓶倒热水的顺序。真值轨迹：00:59 第一把刀进洗碗机，03:06 喝水，04:39 往暖瓶倒热水，05:50 第二把刀进洗碗机。正确顺序是先喝水，再倒热水，再放第二把刀。Gemini 2.5 Pro 选了“先放第二把刀，再倒热水，然后可能喝水”，并写视频里没有明确喝水。

第二题问用擦丝器处理了几只柠檬，选项 0、2、3、1、4。真值：02:57 第一只，04:17 第二只，06:06 收起擦丝器，06:40 收起其余柠檬，答案是 2。Claude Sonnet 4 主要看到 05:24 和 05:48，答 1。

第三题问绿白垫子为什么动了。选项包括踢开、没动、吸尘器拉动、人捡起来、没有垫子。真值：00:01 看到垫子，00:48 垫子移动，移动前使用者碰过并捡起，答案是人捡起来。GPT-5 看到吸尘器靠近垫子，选了吸尘器拉动。

5 结论

Minerva-Ego 用多步题和人写的稠密时空推理轨迹，评测自我中心视觉推理。前沿模型在最终答案上离人很远，64 帧时最好 40.1%，人 91.8%。细标注把错误拆开之后，感知正确性和物体召回是短板。把相关物体和相关时间提示给模型，oracle 可以把 256 帧上的 Gemini 2.5 Pro 从 44.5% 提高到 50.3%；用现成分割模型时提高到 47.0%。两者之间的差距还在。

6 附录里和结果有关的部分

最短视频 10 秒，最长 75 分钟，平均 20 分钟。按题型拆开后，轨迹长度和物体引用的分布大体平，只有音频推理引用的物体更少，这符合预期。

后处理在人工复查之后，再用一组纯文本模型做共识，成员包括先前工作里用过的 Deepseek、GPT-4o、Gemini Flash 和 Qwen。共识同意“这题可能只靠文字就能答”的题，再人工看一轮。多数题是题干泄题，改题干或选项就能去掉偏见，于是改而不是丢。要大改的才删除。这样做是为了避免把模型碰巧答对的难题直接扔掉。

人类实验的要求是：看视频，在五个选项里选一个，可以反复看任何片段，不限时间。

按视频长度拆成绩时，多数模型对上下文变长相当稳，但长于一小时后一般会下降。按技能拆时，例子少于 50 的技能不进这张图：阅读、因果、目标推理、音频推理、空间感知。模型相对更擅长状态变化、反事实和情境觉察，更不擅长事件是否发生、数值推理和计数。技能图没有逐项百分数表，这里不补数字。

MiRA 的完整评分提示在原文图 9，这里不另抄一版指令。四个维度和 0 到 2 的刻度就是第 4.1 节所用的标准。

参考文献

• Perrett 等，HD-EPIC。视频和真值分割的来源。
• Nagrani 等，MINERVA。MiRA 量表和错误类型的来源。
• Mangalam 等，EgoSchema；Ye 等，EgoTempo；Chandrasegaran 等，HourVideo。文中对比的自我中心问答集。
• Yang 等，Set-of-Mark。静图上的视觉标记。
• Ravi 等，SAM2。用来补全稀疏分割。
• Minderer 等，OWLv2。开放词表检测，阈值 0.6。
• Wang 等，LVBench；Fu 等，Video-MME；Nagrani 等，Neptune。长视频基准。
• Qwen3-VL、Gemini 2.5、GPT-5、GPT-4.1、Claude Sonnet 4。表 1 和表 7 的被测模型。

出处：Arsha Nagrani，Jasper Uijlings，Shyamal Buch，Tobias Weyand，Sudheendra Vijayanarasimhan，Bo Hu，Ramin Mehran，David A Ross，Cordelia Schmid，Minerva-Ego: Spatiotemporal Hints for Egocentric Video Understanding，2026-05-14，https://arxiv.org/abs/2605.15342，CC BY 4.0。