10 % 预算 召回 从 9.95 到 14.42: 阿里 给 生成 式 定位 加 区间 置信 度
阿里参与的时间定位论文提交于 2026-09-30,核对的是 10 月 10 日的 v4。同一批候选上,10% 返回预算的召回从按顺序的 9.95 到置信分的 14.42。端到端阈值在测试集上选取。置信过滤的 F1 只多 0.32,区间跨过 0。

本文目录
10% 预算召回从 9.95 到 14.42:阿里给生成式定位加区间置信度
Grounding with Confidence 的作者里有阿里巴巴集团。arXiv 提交日是 2026-09-30,许可证 CC BY 4.0。这次核对的 HTML 是 v4,页眉日期写成 2026-10-10,下面的表都来自这一版。阿里一侧包括 Jinhao Chen、Benlei Cui、Ruijian Jia、Ziheng Wang、Pengfei Sun、Longtao Huang、Hui Xue、Yitong Yang 和 Haiwen Hong。Chen 同时挂北京航空航天大学,Wang 同时挂复旦大学。
视频时间定位是按自然语言找出事情发生的时间段。生成式模型通常直接吐出时间戳,没有区间级的置信分。这篇把生成和接受拆开:解码过程里用一个小头,读池化后的解码器状态,给每个区间打分。离线阶段用验证器分数监督固定候选;强化学习时再用时间重叠标签适应当前采样。推理时不再另叫外部验证器,同一分数用来排序、卡阈值和拒绝。
同一批候选,只改怎么挑
OMTG-Bench 有 320 条查询、287 个视频、1173 个官方真值区间。模型从 TimeLens2-4B 起步。SFT 用 60405 条训练单元,RL 用 8424 条查询。置信头把 2560 维状态收到 256 维,再出一个 logit。视觉侧是每秒 2 帧。解码是贪心,最多 512 个 token、32 个候选,再按生成顺序做交并比 0.3 的 NMS。NMS 是去掉互相重叠的候选。
表 1 把 RL 模型已经生成的 1314 条 NMS 幸存候选冻住,只换排序。预算是全基准共享的返回比例,不是每条查询各给一份。官方口径是 320 条查询的宏平均 Recall@0.5,没回答的查询也算进分母。
10% 预算:按生成顺序 9.95,用 token 对数概率 9.41,用 2B 验证器 11.00,用置信头 14.42。25% 时四者是 26.48、22.37、26.31、31.12。50% 是 51.34、43.05、47.72、52.82。75% 是 64.76、61.00、62.45、65.30。对数概率每一档都低于生成顺序。置信度相对顺序的提升,在 10% 和 25% 上的配对自助区间是 [2.30, 6.04] 和 [2.26, 7.09]。预算放宽后,挑选的空间变小,75% 时 65.30 只比 64.76 高 0.54。
端到端:阈值是在测试集上选的
表 2 是多事件定位的官方指标。带 † 的行用一个全局阈值,把测试集上的 tF1@0.5 调到最高。作者写明这是测试神谕,不是已经验证过的上线阈值。已发表的基线仍用它们原来的规则。RL 检查点也是在看过基准反馈之后选的。测试标签不进模型输入、梯度或奖励,但进了离线指标和选阈值。
TimeLens2-4B 的计数准确率 C-Acc 是 18.75,tF1@0.3 是 53.02,tF1@0.5 是 43.89,tIoU 是 48.73,EtF1 是 14.29。本文 SFT† 是 51.88、72.40、64.54、60.75、40.26。RL† 是 53.75、75.92、67.39、63.24、42.64。相对 SFT,RL 的 tF1@0.3、tF1@0.5、tIoU 提高 3.52、2.85、2.49。OMTG-4B 的 C-Acc 55.63 和 EtF1 43.65 仍高于 RL 的 53.75 和 42.64。
表 3 把同一条解码结果拆开看。SFT 原始召回 67.85、tF1 34.65;NMS 之后召回 65.06、tF1 64.17;再加置信阈值是 64.92 和 64.54。RL 三步是 73.64 / 41.39、70.51 / 67.07、70.10 / 67.39。RL 把平均候选数从 11.18 降到 8.99,召回上升不是靠多生成。NMS 拿走了大部分 F1。在已经 NMS 的 RL 池上,置信过滤只再加 0.32 个 tF1,配对区间是 [-0.14, 0.76],跨过 0。
阈值能不能搬走是另一件事。在 512 个与测试视频不相交的校准视频上,按 80% 和 90% 的经验微精度选阈值,原样用到 OMTG-Bench,精度掉到 71.71%(654/912)和 86.89%(391/450)。微召回分别是 55.75% 和 33.33%。两个目标都没有保住。作者还写明,这批校准视频此前被项目分析用过。
合成不匹配上的拒绝
表 4 给 Charades、ActivityNet、QVHighlights 的匹配查询各配一条跨视频的不匹配问句。这些负例不是官方标注,也没有人工逐条确认「确实没有」。提示允许输出空。本文模型留下置信度最高的 NMS 幸存区间,再卡一个全基准的阈值;TimeLens2 仍用原规则。阈值同样是测试集上 F1 最优。
Charades 上 TimeLens2-4B 的 F1@0.5 是 44.24,误报率 91.17。SFT 是 46.81 和 36.01,RL 是 49.87 和 21.35。ActivityNet 上 4B 是 47.38 和 66.04,RL 是 48.78 和 13.24。QVHighlights 上 4B 是 54.95 和 71.64;SFT 是 57.67 和 16.87,RL 是 56.52 和 18.95。SFT 的 F1 高于 RL,误报率更低。所以 RL 不是三套数据都更好。作者给出的 RL 误报率范围是 13.24 到 21.35,对照的是 4B 原生规则的 66.04 到 91.17,两边的接受规则不一样。
限制
固定候选池上的排序收益,不能写成端到端 F1 也有同样的幅度。表 3 里置信过滤的 0.32 个点,区间包含 0。表 2 和表 4 的阈值看过测试集。校准阈值没有迁到目标精度。置信分依赖已经留下的候选,补不回没生成或被 NMS 压掉的区间。合成负例不能当成真实的「视频里没有这件事」。计数准确率和 EtF1 仍低于 OMTG-4B。当前读到的正文是 v4。
阿里巴巴集团,Jinhao Chen、Benlei Cui 等,Grounding with Confidence: Controllable Generative Video Temporal Grounding,2026-09-30,https://arxiv.org/abs/2609.39883
觉得有用,转给同事
微信扫码
用微信扫一扫,在手机上打开后即可转发。