Not translated yet — showing the Chinese originals.

Industry & Practice · Research & Benchmarks

Newest firstOldest first

RSS

Newest firstOldest first

Benchmarks we ran and public figures we checked, with the method and its limits attached.

Show everything

Research & Benchmarks2026-09-2836 min
写得更快，发不出去：智能体交付里的验证税
2026 年 9 月这篇综合没有新实验。4,867 人的随机试验里完成任务增加 26.08%，但 10 万多名 GitHub 开发者的遥测里，自主智能体把提交抬高 180%，发布只剩 30%。作者把评审、测试和返工写成验证税，并警告三个生产率数字不能横比。
Research & Benchmarks2026-09-2831 min
通过率全绿，行为漂移仍然看不见
AgentAssay 用三值判定和行为指纹做非确定智能体的回归测试。7,605 次试验花了 227 美元：通过率一直是 100%，一元检验力为 0，指纹检验力 0.86。SPRT 把 100 次降到 22 次。注入回归的实验作者写明还没做。
Research & Benchmarks2026-09-2820 min
小改动才进得去：彭博用智能体每天提一条质量请求
彭博的 Pomona 不修大缺陷，只扫代码质量并提交大约几十行的拉取请求。三个月 39 条里合并 32 条（82.1%），关闭时间中位数 2 小时 14 分钟。模型和代码因保密协议未公开。
Research & Benchmarks2026-09-2819 min
智能体还停在流水线的数据面：CI/CD 里的权限转移
把智能体放进持续集成，眼下还不是把发布权交出去。2026 年这篇愿景文区分数据面和控制面：补丁和重跑测试可以交给智能体，改部署策略和批准关口仍然要人批。安全靠外围治理，评测还没跟上。
Research & Benchmarks2026-09-2844 min
MCP-GRANITE 基准：面向基于 MCP 的大语言模型智能体的粒度接口测试
随着大语言模型（LLM）智能体越来越多地通过 MCP 等标准化协议与外部工具交互，工具接口设计成为一个关键却研究不足的因素。功能如何被分解为工具，会影响智能体能否选对工具并构造出合法参数。这一选择在边缘侧尤其关键：资源约束限制了哪些模型可以
Research & Benchmarks2026-09-2839 min
BabelArena：面向大语言模型智能体的大规模多语言基准
大语言模型（LLM）智能体越来越多地通过工具使用以及与用户和环境的交互来执行多步骤工作流。然而，现有智能体评测大体以英语为中心，限制了我们对智能体在多语言场景下能力的理解。我们提出 BabelFlow，一套与具体基准无关的智能体化工作流：它
Research & Benchmarks2026-09-2855 min
干净分数、被埋没的证据与自信的错误：对前沿智能体问答的回执式审计
前沿模型在浅层文档／图表阅读任务上得分很高。在一次受控的数据室审计中，把证据移入埋没条件后，准确率下降，强制声明增加，工具调用增加，每个正确答案的成本也增加。置信度与基准校准并不能完全抓住错误答案；一起有记录的生产事故表明，捏造的结构性主张
Research & Benchmarks2026-09-2821 min
智能体评测中的政策漏洞：当政策歧义伪装成智能体错误
智能体基准评测政策遵从，却假定每一条政策都能确定唯一正确的动作。自然语言政策会因沉默、歧义或自相矛盾而违背这一假定，从而允许多种站得住脚的解读，而单一金标准轨迹无法覆盖这些解读。我们对 τ²-bench 的两个领域做了审计，建立了此类政策漏
Research & Benchmarks2026-09-2853 min
当智能体指标所度量的并非同一事物：对 Praxa AI 流水线的证据锚定审计
智能体评测在数值上可以是正确的，同时所度量的构念却不同于其标签所暗示的构念。我们对选定的 Praxa AI 实现文件、历史评测产物与运行记录做了一项回顾性度量审计。一份含 139 个用例的离线路由报告有 112 次通过、27 次失败，尽管门
Research & Benchmarks2026-09-2832 min
仅仅完成任务是不够的：在不断累积的挑战下评估智能体的运行韧性与体贴式参与
生成式人工智能智能体的持续部署，所要求的不止是孤立任务上的成功。智能体必须在反复交互、条件变化，以及对共享工作流中人员的依赖之下仍然有用，尤其是当技术、人员与运营方面的扰动随时间累积时。我们提出**运行韧性**（operational re
Research & Benchmarks2026-09-2838 min
τ-bench：真实世界领域中工具–智能体–用户交互基准
现有基准并不检验语言智能体与人类用户的交互，也不检验其遵循特定领域规则的能力，而这两者对于把它们部署到真实世界应用都至关重要。我们提出 τ-bench，这一基准模拟用户（由语言模型模拟）与语言智能体之间的动态对话；该智能体配备领域专用的 A
Research & Benchmarks2026-09-2831 min
衡量人工智能完成长时软件任务的能力
尽管人工智能基准测试进步迅速，基准成绩在现实世界中究竟意味着什么，仍然不清楚。为了用人类能力来量化人工智能系统的能力，我们提出一项新指标：50% 任务完成时间视界（50%-task-completion time horizon），即人工智
Research & Benchmarks2026-09-2836 min
BenchShield：面向大语言模型智能体评测基础设施奖励完整性的形式化模型支撑插桩（上篇）
BenchShield 讨论如何用形式化模型支撑的插桩，检查智能体评测里的奖励是否被篡改。
Research & Benchmarks2026-09-2828 min
BenchShield：面向大语言模型智能体评测基础设施奖励完整性的形式化模型支撑插桩（下篇）
BenchShield 讨论如何用形式化模型支撑的插桩，检查智能体评测里的奖励是否被篡改。
Research & Benchmarks2026-09-287 min
政策对比先过五类题：腾讯云 ADP 的政务问答没有公布准确率
腾讯云 ADP 用育儿补贴把跨地政策问答收成五类上线前用例：事实、流程、对比、边界阻断和时效。跨地必须双路检索，资格不能由模型审批。全文没有准确率。
Research & Benchmarks2026-09-2811 min
计划先定死再写：美团 LongCat 用 ResearchSpec 评深度研究
公开三套基准分别高出对照里最强的 0.30、3.17、5.62。内部基准 76.04，仍比 ChatGPT 的完整 Deep Research 低 0.55。计划固定后不再重开，编辑加轮次也不保证每项都涨。
Research & Benchmarks2026-09-286 min
控制台调试不进在线评估：华为云把离线和线上拆开
华为云 AgentArts 的在线评估只吃 API 调用产生的 Trace，控制台调试不会触发。离线可以评正在跑的智能体，也可以不跑智能体、只评已有数据。每个用户免费 10 个评估任务，每个任务最多 5 个评估器。
Research & Benchmarks2026-09-276 min
Agent 评测到底在测什么：说「订好了」不算数
打分要打在环境的最终状态上，不是它轨迹里说的那句完成。同一道题多跑几遍，失败样本先人工看再归类。
Research & Benchmarks2026-09-275 min
自动评测能找回多少失败：100 条真实对话的盲测结果
最好的系统召回 87%，每个系统都找到过人漏掉的问题，但「看起来对、体验不好」的一类全都抓不到。
Research & Benchmarks2026-09-2722 min
LLM Agent 的评测与基准：一篇综述
SAP Labs 四位作者的 KDD '25 综述全译：按「评什么」和「怎么评」两条轴整理 Agent 评测，并指出企业场景特有的访问控制、可靠性和合规挑战。原文 CC BY 4.0。