研究与基准测试/2026-09-27/67 分钟重新思考智能体生成测试对基于大语言模型的软件工程智能体的价值大语言模型(Large Language Model,LLM)代码智能体越来越多地通过迭代编辑代码、调用工具并验证候选补丁,来解决仓库级问题。在这些工作流中,智能体常常即兴编写测试,但这一行为的价值仍不清楚。例如,GPT
研究与基准测试/2026-09-27/55 分钟CornerCase:协议实现的自动化极值测试许多网络协议实现中的软件缺陷出现在规范边界附近,例如刚好落在允许范围之内或之外的输入,或者单独看来合法、但在给定状态下非法的报文。从 SSL Heartbleed 漏洞到 TCP 圣诞树数据包,边界输入一再暴露关键弱点,
研究与基准测试/2026-09-27/60 分钟ReProAgent:从问题报告生成缺陷复现测试的工具增强多阶段智能体方法复现测试帮助开发者确认所报告的问题,并为问题修复提供可执行反馈,但开源项目中的问题报告很少包含这类测试。近期研究探索了用大语言模型从问题报告生成问题复现测试,但现有方法大体依赖基于提示的流水线:检索文本上下文并生成测试。
研究与基准测试/2026-09-27/63 分钟通过人类测试启发工作流实现单元测试生成的多智能体大语言模型协作近年来,大语言模型(Large Language Models, LLMs)的出现推动了自动化单元测试生成研究的迅速增长,取得了令人瞩目的性能,并减少了人工投入。然而,现有基于大语言模型的方法仍存在两项主要局限:(1)它
研究与基准测试/2026-09-27/20 分钟面向代码重排序的置信度门控直推式测试生成测试用例合成对于评估与排序大语言模型(LLM)生成的程序至关重要。然而,构造高质量测试用例仍然困难,因为可靠的期望输出往往难以获得。我们提出置信度门控直推式测试生成(Confidence-Gated Transducti
研究与基准测试/2026-09-27/41 分钟通过测试生成探测基于大语言模型的代码生成中的隐私泄露大规模代码数据集的广泛可得,推动了面向代码相关任务的大语言模型(large language models,LLMs)快速发展。这些数据集可能包含敏感的个人可识别信息(personally identifiable in
研究与基准测试/2026-09-27/28 分钟上下文至关重要:提升基于大语言模型的单元测试生成的实用可靠性(经验论文)(上篇)自动化单元测试生成近来受益于大语言模型(LLM)的进展,但我们的工业部署表明,有前景的研究结果与实际可用性之间仍存在持续差距。在具有复杂框架与跨文件依赖的真实项目中,LLM 生成的测试经常无法编译、需要高成本的人工修复,
研究与基准测试/2026-09-27/28 分钟LLM 生成测试套件的覆盖率与变异分数是否与其有效性相关?(可复现性研究)(上篇)大语言模型(LLM)的最新进展,推动了利用 LLM 自动生成测试的研究兴趣。既有工作通常用代码覆盖率、变异分数等代理指标来评估所生成的测试套件。然而,Inozemtseva 等人以及 Papadakis 等人的研究表明:
研究与基准测试/2026-09-27/48 分钟评估并缓解含缺陷代码对大语言模型生成单元测试的误导效应(上篇)尽管大语言模型(Large Language Models, LLMs)在自动化单元测试生成方面展现出巨大潜力,近期研究指出:当提示中给出的是含缺陷代码时,所生成测试的质量会受到负面影响。本文提出一项新指标,用于定量度量
研究与基准测试/2026-09-27/37 分钟利用大语言模型增强面向自然语言处理库的自动化单元测试生成(上篇)以 EvoSuite 为代表的自动化单元测试生成工具在通用软件上表现良好,但面对自然语言处理(NLP)库这类领域特定软件时常常力不从心:输入必须满足语义、句法与结构约束。大语言模型(LLM)能够生成与领域相关的测试代码,