研究与基准测试/2026-09-27/28 分钟软件演化下的 LLM 测试生成评测Virginia Tech 与 CMU 的大规模实证研究全译:8 个模型、22,374 个程序变体。基线 79% 行覆盖,代码一改就掉——超过 99% 的失败测试在原始代码上能通过。
研究与基准测试/2026-09-27/35 分钟用于软件测试的大语言模型:一份研究路线图Oviedo 大学与意大利 CNR 五位的半系统性综述全译:130 篇文章归成七类,逐类给出过程示意,并提出准备-交互-验证三阶段挑战与四个软件测试梦想。原文 CC BY 4.0。
研究与基准测试/2026-09-27/12 分钟用于软件测试的大语言模型:研究路线图·下下篇:准备、交互、验证三阶段的技术挑战与社会挑战,以及 LLM 对四个软件测试梦想的长期影响。上篇见 llm-software-testing-roadmap-zh。
研究与基准测试/2026-09-27/15 分钟基于 (M)LLM 的 GUI Agent 综述·下下篇:数据集与基准(环境、任务、评测策略、成本/多样性/安全挑战)与未来方向。上篇见 gui-agents-survey-zh。
研究与基准测试/2026-09-27/20 分钟理解 LLM 驱动的测试 Oracle 生成奥克兰大学与 KCL 的 AIware 2025 论文全译:2,160 次运行、36 个真实 Java 缺陷。CUT 上下文把 oracle 准确率提到 53.64%;zero-shot/few-shot 胜过 CoT/ToT;提示技术比模型选择影响更大。原文 CC BY 4.0。
研究与基准测试/2026-09-27/18 分钟NeuroTestGen:用大语言模型做神经符号引导的测试生成York 大学论文全译:符号执行(Z3)解数值路径 + LLM 解对象路径的混合测试生成。Defects4J 14 项目上,Claude 3.5 下行覆盖 70.88%→75.87%、分支 65.15%→70.87%,胜过 SOTA Panta。原文 CC BY 4.0。
研究与基准测试/2026-09-16/10 分钟测试集宏平均 F1 为 0.615:阿里参与的基准用淘宝行为核验消费价值5440 段淘宝购买过程,测试集 544 段由专家从零标注。B2V-Verifier 宏平均 F1 0.615,基线最高是 GPT-5 的 0.417。引言写的大约 34% 没有落到表上的某一格。
研究与基准测试/2026-08-20/10 分钟长尾 BadCase 降了 2.96 个点:美团搜索 3.0 把三期实验的窗口都写了美团服务零售搜索用三期实验把 LLM 语义表征放进精排。一期 20% 流量 14 天,长尾 BadCase@1 显著降 2.96pp。二期和三期分别是 7 天的 20% 与 10% 流量。三期订单 +0.32% 没有拆开两类特征。