Not translated yet — showing the Chinese originals.

Industry & Practice · Research & Benchmarks

Newest firstOldest first

RSS

Newest firstOldest first

Benchmarks we ran and public figures we checked, with the method and its limits attached.

Show everything

Research & Benchmarks2026-09-2728 min
软件演化下的 LLM 测试生成评测
Virginia Tech 与 CMU 的大规模实证研究全译：8 个模型、22,374 个程序变体。基线 79% 行覆盖，代码一改就掉——超过 99% 的失败测试在原始代码上能通过。
Research & Benchmarks2026-09-2735 min
用于软件测试的大语言模型：一份研究路线图
Oviedo 大学与意大利 CNR 五位的半系统性综述全译：130 篇文章归成七类，逐类给出过程示意，并提出准备-交互-验证三阶段挑战与四个软件测试梦想。原文 CC BY 4.0。
Research & Benchmarks2026-09-2740 min
基于 (M)LLM 的 GUI Agent 综述
GUI Agent 综述全译：把架构拆成感知、探索、规划、交互四个模块，梳理移动/桌面/网页/游戏四类应用、基准与评测策略，并指出元素定位、长时程规划与安全执行等挑战。原文 CC BY 4.0。
Research & Benchmarks2026-09-2712 min
用于软件测试的大语言模型：研究路线图·下
下篇：准备、交互、验证三阶段的技术挑战与社会挑战，以及 LLM 对四个软件测试梦想的长期影响。上篇见 llm-software-testing-roadmap-zh。
Research & Benchmarks2026-09-2715 min
基于 (M)LLM 的 GUI Agent 综述·下
下篇：数据集与基准（环境、任务、评测策略、成本/多样性/安全挑战）与未来方向。上篇见 gui-agents-survey-zh。
Research & Benchmarks2026-09-2710 min
Tokenomics：量化 Agent 软件工程中的 token 都花在哪了
Concordia 大学 MSR 2026 论文全译：ChatDev + GPT-5 跑 30 个开发任务，代码评审吃掉平均 59.4% 的 token，输入 token 占 53.9%——agent 协作的主要成本在精炼与验证，不在写代码。原文 CC BY 4.0。
Research & Benchmarks2026-09-2720 min
理解 LLM 驱动的测试 Oracle 生成
奥克兰大学与 KCL 的 AIware 2025 论文全译：2,160 次运行、36 个真实 Java 缺陷。CUT 上下文把 oracle 准确率提到 53.64%；zero-shot/few-shot 胜过 CoT/ToT；提示技术比模型选择影响更大。原文 CC BY 4.0。
Research & Benchmarks2026-09-2718 min
NeuroTestGen：用大语言模型做神经符号引导的测试生成
York 大学论文全译：符号执行（Z3）解数值路径 + LLM 解对象路径的混合测试生成。Defects4J 14 项目上，Claude 3.5 下行覆盖 70.88%→75.87%、分支 65.15%→70.87%，胜过 SOTA Panta。原文 CC BY 4.0。
Research & Benchmarks2026-09-2722 min
XRepoTest：面向大语言模型的多语言仓库级单元测试生成基准
河内科技大学与 L'Aquila 大学论文全译：Rust/Go/Julia/PHP/Ruby 五语言、3,642 个焦点函数、14 个模型。提出调用率 IR 识别「通过却没真正测到焦点函数」，标准设置下最强模型 TPR 也仅约 27%。原文 CC BY 4.0。
Research & Benchmarks2026-09-2715 min
用大语言模型对照自然语言需求做代码静态验证：一份工业经验报告
大语言模型（LLM）越来越多地被用来生成需求规格、设计文档、代码和测试用例。相比之下，一个更难的保障问题得到的关注少得多：静态地验证已实现的代码是否满足用自然语言写成的需求。Coverity、SonarQube 这类传统
Research & Benchmarks2026-09-2728 min
LLM 与人工单元测试：在真实 Python 缺陷上的故障检测能力
大型语言模型（LLM）在自动化单元测试生成方面已展现出相当大的潜力，但相对于人工编写测试的实际有效性仍然缺乏充分理解。现有评估通常依赖于面向覆盖率的基准测试，这些基准并不直接评估故障检测能力。我们提出了一项对 LLM 生
Research & Benchmarks2026-09-2730 min
ATLAS：通过 LLM 引导的抽象和自动机学习发现智能体策略
基于大语言模型（LLM）的智能体正越来越多地用于复杂任务，如软件测试和网络安全评估。虽然这些智能体展现出令人印象深刻的能力，但它们的行为难以理解、解释和分析。现有评估主要集中在任务成功率和执行轨迹上，对智能体所采用的策略
Research & Benchmarks2026-09-2735 min
使用大语言模型进行自动化基于模型的测试生成的实证评估
大语言模型（LLM）在自动化、分析和解释软件工程任务（如软件测试）方面展现出强大的潜力。基于模型的测试（MBT）是一种软件测试技术，其广泛的规模化挑战阻碍了工业界的采用。本文提出了一项关于使用大语言模型进行自动化基于模型
Research & Benchmarks2026-09-2742 min
使用模型检查作为预言机的基于大语言模型的事后解释器自动化测试
大语言模型（LLMs）被用作序列决策策略的事后解释器，生成关于为何选择某个动作的自然语言解释。然而，LLMs 经常生成看似合理但不正确的陈述，而且目前没有方法系统性地测试这些解释是否忠实于底层环境。两个经典的软件测试挑战
Research & Benchmarks2026-09-2732 min
代码大语言模型中健全且对抗性测试生成的两阶段强化学习
强化学习（RL）通过可执行反馈显著推进了代码大语言模型（LLM）的发展。针对编程问题的反馈主要来自特定测试用例，而高质量测试用例往往稀缺，因为它们必须同时具备健全性（sound）和判别力（discriminative）。
Research & Benchmarks2026-09-2742 min
从资源流到可执行测试：Petri 网指导的并发有状态 Rust API 大语言模型测试生成
并发有状态库 API 通过不断演变的资源所有权、生命周期状态和竞争的交错执行来暴露其行为。大型语言模型可以合成可执行的 Rust 测试，但其输出常常违反 API 前置条件、保持浅层状态，或将并发性退化为偶然的顺序追踪。相
Research & Benchmarks2026-09-2749 min
评估基于大语言模型的端到端 CLI 工具场景中的从零到一软件生成
大型语言模型（LLM）的演进催生了向意图驱动软件开发范式的转变，其中自主智能体被期望从头开始设计并交付完整的、可运行的软件系统。然而，由于两个根本性局限，现有基准测试未能充分评估这种从零到一的生成能力。首先，它们依赖于预
Research & Benchmarks2026-09-2744 min
先写代码再测试的风险：一项关于基于大语言模型的测试生成工作流的实证研究
大语言模型（Large Language Models, LLMs）正越来越多地用于软件工程工作流，以自动生成源代码及其对应的测试套件。这种双重能力催生了新的开发范式，包括测试先行工作流与智能体工作流：由同一个模型负责产
Research & Benchmarks2026-09-2751 min
自然语言断言的忠实自动形式化
形式化契约对软件测试与验证至关重要，但编写它们仍然费力且容易出错。大语言模型（LLM）为自动形式化提供了一条有前景的路径：从自然语言规约综合出可执行断言，从而弥合开发者的非正式意图与形式化可执行规约之间的鸿沟。我们提出
Research & Benchmarks2026-09-2767 min
重新思考智能体生成测试对基于大语言模型的软件工程智能体的价值
大语言模型（Large Language Model，LLM）代码智能体越来越多地通过迭代编辑代码、调用工具并验证候选补丁，来解决仓库级问题。在这些工作流中，智能体常常即兴编写测试，但这一行为的价值仍不清楚。例如，GPT