研究与基准测试/2026-09-15/8 分钟约束还在也会越权 9.33%:腾讯朱雀用 1800 条轨迹测失控腾讯朱雀实验室的 FORGE-BENCH 把失控定义成越权动作真的改了外部状态。1800 条轨迹里,约束被拿掉且危险动作可执行时,全因子格是 55.00%,跨域高风险格是 62%。只给危险动作、约束还在,全因子里仍有 9.33%。把约束写回压缩摘要,对照是 0%。
研究与基准测试/2026-09-14/8 分钟长视频 85.1% 大约 5.1 万 token:百度按问题现查,不先建全片索引百度 VideoXAgent 在 Video-MME-Long 上 85.1%,52 帧、约 51k 上下文。MINERVA 公开集 1357 题上,纯文本调度 GLM-5.2 到 65.4%,Claude-Opus-4.6 到 65.7%,上下文 33.7k 和 37.1k。37.1k 约是 1024 帧对照 262.1k 的 14%。
研究与基准测试/2026-09-10/11 分钟评测集守住已知:美团把 Agent 评测拆成四块和两条闭环美团图灵 Agent 评测把体系写成四模块、三种能力和两条 Loop。离线回测守已知,在线 AB、影子和巡检发现未知。文中的 68%、95% 是商家经营分析例子,不是公布的线上成绩。
研究与基准测试/2026-08-12/8 分钟最高 58.30%,没有模型到 60%:蚂蚁参与的 VideoGAIA 把视频理解做成多轮工具任务蚂蚁集团参与的 VideoGAIA 用 271 道人工复核题,把视频理解改成最多 40 步的工具循环。20 个模型里最高是 Seed2.0-Pro 的 58.30%,没有一家到 60%。搜索占调用的 60.5%–90.6%,但 GPT-5.5 只调用 262 次仍高于打了 2557 次的 Gemini-3.1-Pro。
研究与基准测试/2026-08-11/8 分钟同一模型 SEM-F1 从 11.57% 到 25.10%:阿里把代码评审的自由探索收成三道门阿里 OpenCodeReview 在 AACR-Bench 的 200 个 PR、1505 条专家评论上,六个底座的 SEM-F1 是 17.90% 到 25.10%。同一 Claude-4.6-Opus 在 Claude Code 上只有 11.57%。召回多数行更低。相对 Claude Code 的 Token 大约少 5 到 15 倍,相对 Codex 只有约 1.24 倍。