Not translated yet — showing the Chinese originals.
Research & Benchmarks//26 min
科学代码出错,损坏的不只是程序,还有结论所依赖的证据。SWE-bench Science 有 119 个任务、98 个仓库、20 个领域。最好的配置 pass@1 是 47.90%,同一配置的公开分却有 96.64%。补上科学说明,强模型的精确通过率反而下降。
Research & Benchmarks//7 min
精准测试要回答的是一次改动该测哪里。ICSE 2026 的 RIPPLE 用变更意图圈方法级影响集,ChaCo 给未覆盖的改动行补回归用例,FSE 2026 的 Cleverest 则用提交说明直接生成能暴露缺陷的输入。
Research & Benchmarks//32 min
RippleGUItester 从一次代码改动出发,用历史场景知识生成界面测试,在改动前后两个构建上执行,再对照截图判断差异是预期还是缺陷。在 Firefox、Zettlr、JabRef 和 Godot 的 111 个合并拉取请求上,表 1 给出 119 个去重缺陷、精确率 46.4%;其中 26 个仍在最新版本。单个拉取请求平均 54.8 分钟、5.99 美元。
Techniques & Tutorials//3 min
改动不大不等于影响不大:一处公共方法、一个新参数、一条只在超时重试时才走到的分支,都不在 diff 里。本文讲为什么只看 git diff 撑不起 AI 代码的评审,以及证据化评审先收什么证据、怎么下结论,附 2 分钟视频。
Research & Benchmarks//23 min
四家公司、十位资深工程师的定性研究,没有新的通过率。十一项做法里,编译器反馈、提示入库和人在回路最具体。十四项挑战里,认证缺口和十年后签不进模型最硬。摘要写 17 家公司,致谢写 18,译文不抹平。
Research & Benchmarks//28 min
SWE-bench 的通过或失败盖住了探索这一步。SWE-Explore 用成功轨迹抽出的行级上下文,让检索器和编码智能体在固定行预算下交一份排序区域列表。848 条 Issue、10 种语言。通用智能体文件命中已经高,行级召回大多仍在 0.14 到 0.19。
Research & Benchmarks//28 min
智能体全量评测很贵,因为每一题都是带工具的多步交互。这篇在八个基准上看到:脚手架和时间偏移会让绝对分数预测变差,排名仍然比较稳。只评历史上通过率 30%–70% 的题,任务量减少 44%–70%,排名保真仍高。
Research & Benchmarks//7 min
2026 年的 ICSE、FSE 和预印本把 GUI 测试从「会不会点」推进到可回放用例、符号预言机和可复现缺陷。WebTestPilot、SpecOps、GraphDroid 给出了实验数字。
Techniques & Tutorials//10 min
给刚转行的功能测试一条能变红的检查。Promptfoo 用 contains 和 not-contains 守退货规则里必须说和绝不能说的句子,先用 echo 不花钱看失败。DeepEval 只用几条人手写的标准答案看意思对不对。不讲榜单,不把模型的回答当成预期。
Techniques & Tutorials//5 min
对照两类入门材料各自覆盖的范围:一类是用模型起草用例和自动化脚本,一类是给问答、客服做评测。按你这周要做的事选一边。
Research & Benchmarks//14 min
MSR 2026 用 AIDev 看 33,596 条智能体拉取请求。总体合并 71.5%,但 Codex 82.6%,Copilot 只有 43.0%。至少有一次评审与合并相关最强;变更更大和强制推送则更难合并。多改几版或补测试,在控制协作信号后没有显著作用。
Tools & Frameworks//7 min
视觉驱动的 Midscene、browser-use、UI-TARS,和做元素自愈、视觉回归的 Testim、Applitools、testRigor,解决的不是同一件事。这篇按执行、感知和断言把它们分开。
Case Studies//7 min
蚂蚁、邮储、科大讯飞、华为、字节、腾讯和铁路客运论文里,大模型做 UI 测试并不是同一层:有的生成脚本,有的看截图自己点,有的只是补回归代码。
Research & Benchmarks//8 min
GUI Agent 能把任务点完,不等于测出了缺陷。这篇按 2024 到 2026 年的综述和基准,分开任务完成率和真正的 GUI 测试。
Research & Benchmarks//36 min
2026 年 9 月这篇综合没有新实验。4,867 人的随机试验里完成任务增加 26.08%,但 10 万多名 GitHub 开发者的遥测里,自主智能体把提交抬高 180%,发布只剩 30%。作者把评审、测试和返工写成验证税,并警告三个生产率数字不能横比。
Research & Benchmarks//31 min
AgentAssay 用三值判定和行为指纹做非确定智能体的回归测试。7,605 次试验花了 227 美元:通过率一直是 100%,一元检验力为 0,指纹检验力 0.86。SPRT 把 100 次降到 22 次。注入回归的实验作者写明还没做。
Research & Benchmarks//20 min
彭博的 Pomona 不修大缺陷,只扫代码质量并提交大约几十行的拉取请求。三个月 39 条里合并 32 条(82.1%),关闭时间中位数 2 小时 14 分钟。模型和代码因保密协议未公开。
Research & Benchmarks//19 min
把智能体放进持续集成,眼下还不是把发布权交出去。2026 年这篇愿景文区分数据面和控制面:补丁和重跑测试可以交给智能体,改部署策略和批准关口仍然要人批。安全靠外围治理,评测还没跟上。
Headlines & Launches//3 min
Holmes 正在做一套自主 QA 平台,帮助软件团队持续测试产品,跟上 AI 驱动的开发速度,而不再依赖人工测试流程。
Headlines & Launches//3 min
用自主 AI 智能体做软件测试与质量保障的土耳其创业公司 kayIQ.ai 已获得 50 万美元种子融资,并准备进行国际拓展。