行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-09-299 分钟
成功率有两套算法：华为云把 Skill 观测拆成加载和释放
华为云 AgentArts 把 Skill 拆成加载和释放，不单建 Skill Span。四条指标里，成功率同时写成 call.count 减 error.count，以及 status 为 True 的次数除以总次数。指标 60 秒上报一次，Prometheus 的 increase() 会把次数显示成小数。
研究与基准测试2026-09-298 分钟
2.51% 只赢平均识别错误：京东 JoyAI-Voice 2.0 让出英文词错误和说话人相似度
京东 Joy Future Academy 的 JoyAI-Voice 2.0 在 Seed-TTS 上平均识别错误 2.51%，相对 dots.tts 的 2.95% 降 14.9%。英文词错误 1.27% 高于 Qwen3 的 1.23%，说话人相似度平均 74.8 低于 dots.tts 的 79.2。自建 MDVD-Eval 总分 0.893，10 维里领先 5 维。
研究与基准测试2026-09-2822 分钟
代码评审多找缺陷，噪声也一起上来
代码评审没有编译那种通过或失败。CR-Bench 从 SWE-Bench 抽出 584 条可在评审时发现的真实缺陷，核验子集 174 条。单次评审的信噪比更高，GPT-5.2 为 5.11，但召回只有 27.01%。逼它再找一轮，召回到 32.76%，信噪比降到 1.95。
研究与基准测试2026-09-2816 分钟
Data Agent Benchmark：企业多库问数智能体基准
DAB 用 54 条查询、12 个数据集和 4 种数据库，评测跨库整合、脏连接键、文本抽取和领域知识。Gemini-3-Pro 的 pass@1 只有 38%，pass@50 不超过 69%。patents 全集未被任何模型解开。
研究与基准测试2026-09-2826 分钟
有缺陷的代码会让生成的测试去证明缺陷是对的
用有缺陷的代码提示大模型生成单元测试，模型会把错误行为当成预定功能。11 个模型上，误导测试平均从修复代码条件下的 0.46% 升到 3.84%，能发现缺陷的有效测试从 8.51% 降到 2.98%。把实现换成模型写出的行为规格，误导下降，有效测试上升。
研究与基准测试2026-09-2818 分钟
Agents' Last Exam：面向职业工作流的智能体基准
ALE 用 1490 个来自真实职业项目的任务实例，覆盖 55 个子领域。最强的 Codex 加 GPT-5.5 在 Terminal-Bench 上有 82%，在 ALE 最难一档的完全通过率低于 10%，多数主流配置在该档接近零。
研究与基准测试2026-09-2828 分钟
别教智能体怎么做 TDD，告诉它该跑哪些测试
编码智能体的榜单几乎只看有没有修好。TDAD 在改代码之前用代码和测试的依赖图指出该核验的测试。在 100 条 SWE-bench Verified 上，测试级回归率从 6.08% 降到 1.82%。只加测试驱动的流程说明、不指出具体测试，回归率反而升到 9.94%。
研究与基准测试2026-09-2816 分钟
别把测试智能体的解释当成证据
测试智能体能生成用例、解释理由、委派子任务并在变更后自己重写。人如果不再把这些输出当假设来查，测试证据的保障价值就会变弱。这篇给出 12 种过度依赖：从接受错误的测试目标，到相信另一个智能体已经把委派的事做对。
研究与基准测试2026-09-2826 分钟
公开测试过了，科学结论未必保住：SWE-bench Science
科学代码出错，损坏的不只是程序，还有结论所依赖的证据。SWE-bench Science 有 119 个任务、98 个仓库、20 个领域。最好的配置 pass@1 是 47.90%，同一配置的公开分却有 96.64%。补上科学说明，强模型的精确通过率反而下降。
研究与基准测试2026-09-287 分钟
2026 年的精准测试：先圈影响集，再补回归用例
精准测试要回答的是一次改动该测哪里。ICSE 2026 的 RIPPLE 用变更意图圈方法级影响集，ChaCo 给未覆盖的改动行补回归用例，FSE 2026 的 Cleverest 则用提交说明直接生成能暴露缺陷的输入。
研究与基准测试2026-09-2832 分钟
改动之后界面哪里变了：2026 年的变更感知 GUI 回归
RippleGUItester 从一次代码改动出发，用历史场景知识生成界面测试，在改动前后两个构建上执行，再对照截图判断差异是预期还是缺陷。在 Firefox、Zettlr、JabRef 和 Godot 的 111 个合并拉取请求上，表 1 给出 119 个去重缺陷、精确率 46.4%；其中 26 个仍在最新版本。单个拉取请求平均 54.8 分钟、5.99 美元。
研究与基准测试2026-09-2823 分钟
编译器在回路里：嵌入式团队怎么把生成式 AI 放进流水线
四家公司、十位资深工程师的定性研究，没有新的通过率。十一项做法里，编译器反馈、提示入库和人在回路最具体。十四项挑战里，认证缺口和十年后签不进模型最硬。摘要写 17 家公司，致谢写 18，译文不抹平。
研究与基准测试2026-09-2828 分钟
找对文件还不够：SWE-Explore 怎么评仓库探索
SWE-bench 的通过或失败盖住了探索这一步。SWE-Explore 用成功轨迹抽出的行级上下文，让检索器和编码智能体在固定行预算下交一份排序区域列表。848 条 Issue、10 种语言。通用智能体文件命中已经高，行级召回大多仍在 0.14 到 0.19。
研究与基准测试2026-09-2828 分钟
少跑题也能排榜：智能体基准的中等难度过滤
智能体全量评测很贵，因为每一题都是带工具的多步交互。这篇在八个基准上看到：脚手架和时间偏移会让绝对分数预测变差，排名仍然比较稳。只评历史上通过率 30%–70% 的题，任务量减少 44%–70%，排名保真仍高。
研究与基准测试2026-09-287 分钟
2026 年海外 GUI 自动化测试研究：用例、预言机与缺陷
2026 年的 ICSE、FSE 和预印本把 GUI 测试从「会不会点」推进到可回放用例、符号预言机和可复现缺陷。WebTestPilot、SpecOps、GraphDroid 给出了实验数字。
研究与基准测试2026-09-2814 分钟
有人评，才合得进去：智能体拉取请求怎么过代码评审
MSR 2026 用 AIDev 看 33,596 条智能体拉取请求。总体合并 71.5%，但 Codex 82.6%，Copilot 只有 43.0%。至少有一次评审与合并相关最强；变更更大和强制推送则更难合并。多改几版或补测试，在控制协作信号后没有显著作用。
研究与基准测试2026-09-288 分钟
基于 AI 的 GUI 自动化测试：2024–2026 研究地图
GUI Agent 能把任务点完，不等于测出了缺陷。这篇按 2024 到 2026 年的综述和基准，分开任务完成率和真正的 GUI 测试。
研究与基准测试2026-09-2836 分钟
写得更快，发不出去：智能体交付里的验证税
2026 年 9 月这篇综合没有新实验。4,867 人的随机试验里完成任务增加 26.08%，但 10 万多名 GitHub 开发者的遥测里，自主智能体把提交抬高 180%，发布只剩 30%。作者把评审、测试和返工写成验证税，并警告三个生产率数字不能横比。
研究与基准测试2026-09-2831 分钟
通过率全绿，行为漂移仍然看不见
AgentAssay 用三值判定和行为指纹做非确定智能体的回归测试。7,605 次试验花了 227 美元：通过率一直是 100%，一元检验力为 0，指纹检验力 0.86。SPRT 把 100 次降到 22 次。注入回归的实验作者写明还没做。
研究与基准测试2026-09-2820 分钟
小改动才进得去：彭博用智能体每天提一条质量请求
彭博的 Pomona 不修大缺陷，只扫代码质量并提交大约几十行的拉取请求。三个月 39 条里合并 32 条（82.1%），关闭时间中位数 2 小时 14 分钟。模型和代码因保密协议未公开。