Not translated yet — showing the Chinese originals.

Industry & Practice · Research & Benchmarks

Newest firstOldest first

RSS

Newest firstOldest first

Benchmarks we ran and public figures we checked, with the method and its limits attached.

Show everything

Research & Benchmarks2026-09-307 min
OpenAI：SWE-bench Verified 已经测不出前沿编程能力
2026 年 2 月，OpenAI 停止报告 SWE-bench Verified。抽查常失败题目后，至少 59.4% 的测试会拒绝功能正确的补丁，而且前沿模型能复述金标准补丁。
Research & Benchmarks2026-09-306 min
OpenAI 审计 SWE-Bench Pro：大约三成任务是坏的
2026 年 7 月，OpenAI 用自动管线加五名工程师复审，估计 SWE-Bench Pro 约 30% 的任务有问题。公开子集上八个月内从 23.3% 升到 80.3%，并不能直接当成能力跃升。
Research & Benchmarks2026-09-306 min
榜首模型不一定该上线：公开基准之外怎么评测整套系统
deepsense.ai 认为 2026 年的公开基准更接近真实工作，但仍然只够做能力筛选。上线要评模型、支架、工具、成本和业务结果，而不是只看榜单。
Research & Benchmarks2026-09-306 min
τ-bench 如何把「做成一次」和「每次都能做成」拆开
Sierra 的 τ-bench 从 2024 年 6 月起测工具、Agent 和用户的多轮交互，并用重复成功率暴露一次通过掩盖的不稳定。它后来成为研究和行业评测的参照。
Research & Benchmarks2026-09-306 min
Terminal-Bench 2.1：89 道终端任务上的一次核对修订
Artificial Analysis 介绍的 Terminal-Bench 2.1 仍是 89 道硬任务，但修了环境和指令，让分数反映 Agent 能力而不是环境缺口。评测用 Terminus 2，每题三次取 pass@1。
Research & Benchmarks2026-09-308 min
没有度量就没有改进：腾讯云 ADP 把 RAG 评测拆成检索、生成和端到端
腾讯云 ADP 把生产级 RAG 的深水区收成切片、跨文档、评测、知识治理和证据决策。检索看 Recall@K 与延迟，生成看忠实度和相关性，端到端看任务完成率。原文没有给出实测分数。
Research & Benchmarks2026-09-308 min
400 个视觉 token 对上 10368：百度用固定语言模型评 CoVisco
语言模型固定为 Qwen3-4B。只送 400 个摘要 token 时，多项视频分数高于把 10368 个 token 都送进语言模型的对照。DocVQA 在只送摘要时是 20.5，比例 0.8 才到 75.1。
Research & Benchmarks2026-09-307 min
多一句废话就被判低分：华为云用 GRPO 按结果奖惩，不靠背答案
华为云 AgentArts 的模型优化把模型换进智能体环境，用规则精确匹配或大模型裁判打分，再按 GRPO 做组内对比。客服例子里「故障报修」算高分，多一句解释就算低分。页面写明奖励规则设计不当会奖励作弊。
Research & Benchmarks2026-09-3010 min
看见强、判断弱：PhysVista 用三段闭环测视觉语言模型的物理智能
字节参与的 PhysVista 用看见、推理、评估闭环评 VLM 的物理智能。2060 题来自真实与生成视频。感知加权最高 68.59%，尺度最高只有 43.33%；Doubao 时序 91.33%，预测只有 35.56%。
Research & Benchmarks2026-09-3010 min
判对也会编证据：蚂蚁 ATAR 把真阳性幻觉压到 7.2%
蚂蚁实习期间完成的 ATAR 用 22 个鉴识工具做多轮伪造检测。六套零样本 IMDL 图像级 F1 78.5%，随机工具比不用工具更差。去掉推理奖励后分类只掉 0.6 个百分点，真阳性幻觉从 7.2% 升到 21.6%。
Research & Benchmarks2026-09-2922 min
把 GitHub Issue 改成聊天口吻，成功率掉一截
SWE-Bench 的问题陈述往往超过 100 个词，真实聊天修缺陷大约 10 到 30 个词。把正式 Issue 突变成只贴堆栈这类问法后，OpenHands 在 SWE-Bench Verified 上的相对成功率下降 23.2% 到 36.5%。内部 C# 基准只降 10.7% 到 16.8%。
Research & Benchmarks2026-09-2924 min
绿了的测试，不等于规格真的满足了
SpecBench 用 30 个从零写的系统级任务，把可见的单功能测试和隐藏的组合测试分开。奖励黑客缺口是两者通过率之差。代码行数每增加十倍，第 90 百分位缺口大约多 27 个百分点。有的「编译器」靠哈希表记住公开测试，验证分 97%，留出分是 0。
Research & Benchmarks2026-09-2918 min
榜单上的分数量的不是模型，是整套脚手架
同一模型 Claude Opus 4.6，在 Terminal-Bench 上换脚手架，准确率从 58.0% 到 79.8%。这篇立场文认为，现有编码基准把模型、脚手架和环境收成一个端到端分数，还对照一份参考解打分，量的不是实践里真正在用的那套系统。
Research & Benchmarks2026-09-2918 min
从补全到委派：智能体进入软件生命周期
这是一篇综述，不是新实验。它把 SWE-bench Verified 从 2023 年 10 月的 1.96% 汇编到 2026 年春 Claude Opus 4.7 的 78.4%，并认为增益主要来自脚手架而不是模型变大。传统生命周期对照成智能体生命周期之后，人的位置改到意图、评审和批准。
Research & Benchmarks2026-09-298 min
高风险子集上攻击成功率从 6.00% 降到 1.69%：腾讯朱雀在编码代理上回归九种防御
pi 编码代理，模型匿名。9 组高风险组合上，九种防御把配对成功率从 6.00% 降到 1.69%，相对下降 71.8%，没有一种降到 0。离线检测误报为 0，召回最高 17.78%。
Research & Benchmarks2026-09-2911 min
会话级正确率不到 5%：百度 CypherTurn 测的是多轮 Cypher，不是单条查询
百度参与的 CypherTurn 用 721 个会话、5927 轮评多轮 Text-to-Cypher。引导协议最好只到 64.7% 执行准确率，会话全对最高 33/721。换成自主协议后榜首从 Claude 换成 Gemini，加到 10 倍动作预算也补不回。
Research & Benchmarks2026-09-299 min
成功率有两套算法：华为云把 Skill 观测拆成加载和释放
华为云 AgentArts 把 Skill 拆成加载和释放，不单建 Skill Span。四条指标里，成功率同时写成 call.count 减 error.count，以及 status 为 True 的次数除以总次数。指标 60 秒上报一次，Prometheus 的 increase() 会把次数显示成小数。
Research & Benchmarks2026-09-298 min
2.51% 只赢平均识别错误：京东 JoyAI-Voice 2.0 让出英文词错误和说话人相似度
京东 Joy Future Academy 的 JoyAI-Voice 2.0 在 Seed-TTS 上平均识别错误 2.51%，相对 dots.tts 的 2.95% 降 14.9%。英文词错误 1.27% 高于 Qwen3 的 1.23%，说话人相似度平均 74.8 低于 dots.tts 的 79.2。自建 MDVD-Eval 总分 0.893，10 维里领先 5 维。
Research & Benchmarks2026-09-2822 min
代码评审多找缺陷，噪声也一起上来
代码评审没有编译那种通过或失败。CR-Bench 从 SWE-Bench 抽出 584 条可在评审时发现的真实缺陷，核验子集 174 条。单次评审的信噪比更高，GPT-5.2 为 5.11，但召回只有 27.01%。逼它再找一轮，召回到 32.76%，信噪比降到 1.95。
Research & Benchmarks2026-09-2816 min
Data Agent Benchmark：企业多库问数智能体基准
DAB 用 54 条查询、12 个数据集和 4 种数据库，评测跨库整合、脏连接键、文本抽取和领域知识。Gemini-3-Pro 的 pass@1 只有 38%，pass@50 不超过 69%。patents 全集未被任何模型解开。