行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-09-2760 分钟
ReProAgent：从问题报告生成缺陷复现测试的工具增强多阶段智能体方法
复现测试帮助开发者确认所报告的问题，并为问题修复提供可执行反馈，但开源项目中的问题报告很少包含这类测试。近期研究探索了用大语言模型从问题报告生成问题复现测试，但现有方法大体依赖基于提示的流水线：检索文本上下文并生成测试。
研究与基准测试2026-09-2763 分钟
通过人类测试启发工作流实现单元测试生成的多智能体大语言模型协作
近年来，大语言模型（Large Language Models, LLMs）的出现推动了自动化单元测试生成研究的迅速增长，取得了令人瞩目的性能，并减少了人工投入。然而，现有基于大语言模型的方法仍存在两项主要局限：（1）它
研究与基准测试2026-09-2720 分钟
面向代码重排序的置信度门控直推式测试生成
测试用例合成对于评估与排序大语言模型（LLM）生成的程序至关重要。然而，构造高质量测试用例仍然困难，因为可靠的期望输出往往难以获得。我们提出置信度门控直推式测试生成（Confidence-Gated Transducti
研究与基准测试2026-09-2741 分钟
通过测试生成探测基于大语言模型的代码生成中的隐私泄露
大规模代码数据集的广泛可得，推动了面向代码相关任务的大语言模型（large language models，LLMs）快速发展。这些数据集可能包含敏感的个人可识别信息（personally identifiable in
研究与基准测试2026-09-2728 分钟
上下文至关重要：提升基于大语言模型的单元测试生成的实用可靠性（经验论文）（上篇）
自动化单元测试生成近来受益于大语言模型（LLM）的进展，但我们的工业部署表明，有前景的研究结果与实际可用性之间仍存在持续差距。在具有复杂框架与跨文件依赖的真实项目中，LLM 生成的测试经常无法编译、需要高成本的人工修复，
研究与基准测试2026-09-2746 分钟
上下文至关重要：提升基于大语言模型的单元测试生成的实用可靠性（下篇）
上下文至关重要：提升基于大语言模型的单元测试生成的实用可靠性（下）（中文全译）
研究与基准测试2026-09-2728 分钟
LLM 生成测试套件的覆盖率与变异分数是否与其有效性相关？（可复现性研究）（上篇）
大语言模型（LLM）的最新进展，推动了利用 LLM 自动生成测试的研究兴趣。既有工作通常用代码覆盖率、变异分数等代理指标来评估所生成的测试套件。然而，Inozemtseva 等人以及 Papadakis 等人的研究表明：
研究与基准测试2026-09-2746 分钟
LLM 生成测试套件的覆盖率与变异分数是否与其有效性相关（下篇）
LLM 生成测试套件的覆盖率与变异分数是否与其有效性相关（下）（中文全译）
研究与基准测试2026-09-2748 分钟
评估并缓解含缺陷代码对大语言模型生成单元测试的误导效应（上篇）
尽管大语言模型（Large Language Models, LLMs）在自动化单元测试生成方面展现出巨大潜力，近期研究指出：当提示中给出的是含缺陷代码时，所生成测试的质量会受到负面影响。本文提出一项新指标，用于定量度量
研究与基准测试2026-09-2745 分钟
评估并缓解含缺陷代码对大语言模型生成单元测试的误导效应（下篇）
评估并缓解含缺陷代码对大语言模型生成单元测试的误导效应（下）（中文全译）
研究与基准测试2026-09-2737 分钟
利用大语言模型增强面向自然语言处理库的自动化单元测试生成（上篇）
以 EvoSuite 为代表的自动化单元测试生成工具在通用软件上表现良好，但面对自然语言处理（NLP）库这类领域特定软件时常常力不从心：输入必须满足语义、句法与结构约束。大语言模型（LLM）能够生成与领域相关的测试代码，
研究与基准测试2026-09-2749 分钟
利用大语言模型增强面向自然语言处理库的自动化单元测试生成（下篇）
利用大语言模型增强面向自然语言处理库的自动化单元测试生成（下）（中文全译）
研究与基准测试2026-09-2710 分钟
先检查只有 8.1%：字节 TraceDance 用部署轨迹评下一回合
252557 个会话做成 107 个基准。九模型在 4065 条上的平均通过率 26.7%，最高是 Claude Opus 4.8 的 33.5%。先检查只有 8.1%。第二到第五名的名次区间重叠。
研究与基准测试2026-09-258 分钟
未知不能当成满足：阿里用离线匹配和线上 A/B 测工业采购模型
阿里 IndustryLLM 报告把问句结构化和商品资格拆开。No-Think 下精确匹配高 2.97 个百分点，95% 区间 [2.11, 3.86]。18 天线上 A/B 的 GMV +4.25%，但模型和引擎绑在一起，拆不出检查点因果。
研究与基准测试2026-09-248 分钟
MobilePA 总分 77.05，技能项仍低于 93.25：阿里把手机规划的模型和 Harness 拆开测
27B 加 Harness 后 MobilePA 总分 77.05，技能项 86.25，低于表内 93.25。35B-A3B 的总分只有 69.91。每千条 2.41 美元不含输入和 Harness。
研究与基准测试2026-09-248 分钟
8B 平均 50.7：腾讯把搜索拆成规划和综合
腾讯 IterSynth-8B 在五个深搜索集上平均 50.7，比 MiroThinker-8B 的 46.5 高 4.2。GAIA 55.3 低于对方 66.4。xBench-2510 表内比 Miro 的 34.0 高 12.0，正文另写 +5.4%。不更新参数时，Claude 上平均 66.1，高于 ReAct 的 60.6。
研究与基准测试2026-09-237 分钟
慢思考 BFCL v3 到 78.3，τ-Bench 仍低于 o1：腾讯混元把快慢两种思考分开测
慢思考 BFCL v3 为 78.3，τ-Bench 为 54.7，低于 o1 的 60.4。快思考 BFCL v3 掉到 65.9。表 2 相对上一代低了 3 项，不是正文写的 2 项。
研究与基准测试2026-09-228 分钟
订单最多涨过 6%，业务线名字没写：美团 MTFM 的离线和在线口径
美团 MTFM 在外卖多个精排场景全量。最显著的一条业务线订单增长超过 6%，但没有业务线名字和实验窗口。推理成本降 24.0%，192 GFLOPs 是计算量不是账单。
研究与基准测试2026-09-226 分钟
金融题超过 2.6 万，GPQA 钻石只有 448：华为云预置评测集按名字给规模
华为云 ModelArts《预置评测集说明》更新于 2026-09-22，列出 14 个评测集。有题量的是 GPQA_Diamond 448、C-Eval 52 科、GSM8K 8.5K、BBH 204 项、FinEval 超过 26000。页面没有模型得分。
研究与基准测试2026-09-215 分钟
FinFIRST：金融搜索 Agent 不只要答对，还要能溯源
蚂蚁百灵团队联合北京大学与中金公司投资银行团队公开的 FinFIRST，把金融搜索 Agent 的评测重点从最终答案扩展到信息检索、引用来源和全过程可追踪性。