Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “基准”
Research & Benchmarks//6 min
续篇只收录附录 B：算力与输入表示、错误类型召回、换支架，以及去掉指令、截图或动作日志后的消融。去掉指令后平衡准确率接近随机。
Research & Benchmarks//22 min
一千三百七十三条人工录屏上的配对评测表明，最好的智能体评判者 GPT-5.5 在困难子集上平衡准确率只有 80.9%。工具使用帮了它，却让开放权重的 Qwen 直接评判更好；最难认的是已经做完、却多做了未经请求动作的副作用。
Research & Benchmarks//20 min
九个模型对着同一套十六工具的地理空间接口做上线前评测。严格评分下最好只有 61.7%，开放权重的 DeepSeek V3.2 用约十一分之一的成本拿到其中 93% 的能力，失败则主要是没调用对工具。
Techniques & Tutorials//25 min
Walmart Global Tech 综述 38 份来源、41 篇 PDF，把实时语音智能体分成六类。端到端最快约 702 毫秒，级联可到 516 毫秒，但架构不是判决。评测应同时报告时序、恢复和可核验结果。
Research & Benchmarks//28 min
英国 AI Security Institute 在七个基准上比较最多 12 个前沿模型。更大的 token 预算、上下文压缩和反复提交表明：FrontierMath 与 HLE 在通常预算外仍有约 12 个百分点余量，软件工程基准余量很小，跨代进步主要来自触及范围和可靠性，而不是 token 效率。
Research & Benchmarks//18 min
UC Berkeley 联合 250 多位行业专家推出 Agents' Last Exam（ALE）：55 个子领域、13 个行业集群、1490 个来自专家真实交付项目的任务实例，全部用确定性脚本自动验证。最强配置 Codex+GPT-5.5 总体通过率仅 24%，最难的末考层大面积挂零——基准成功与 GDP 相关影响之间的鸿沟，第一次被完整量化。本卷为正文，参考文献与附录见下两卷。
Research & Benchmarks//25 min
普林斯顿团队把安全关键工程的可靠性理念引入 AI agent 评测：一致性、鲁棒性、可预测性、安全四个维度共 12 个指标，在 τ-bench 与 GAIA 上测了 15 个模型。结论是 24 个月的能力飞跃只带来微小的可靠性改进——准确率大涨的模型依旧多次运行不一致、对提示词改写脆弱、常常不知道自己何时会失败。本卷为正文（含参考文献），附录见下两卷。
Research & Benchmarks//28 min
OpenAI 用 44 种职业、1,320 道真实任务比较模型与专家。金标准子集上 Claude Opus 4.1 有 47.6% 的交付物优于或同样好于人类；自动评分器与人类一致率 65.7%，人类互评为 70.8%。
Research & Benchmarks//16 min
把智能体固定为 GPT-5.5、只换用户代理，375 道企业任务的平均奖励变动 15.2 分。成功回合里 24.4% 违反用户合同，主因是过早披露；它几乎不改变奖励，却让智能体平均少做 1.06 次工具调用。
Research & Benchmarks//22 min
Andromede 发布 CC BY 语料 Messier：957,253 条试验结局，覆盖 30 个基准。全通过评分会把部分完成打成零，开放数据拟合的能力排序与 Epoch ECI 的 Spearman 相关为 0.81。
Research & Benchmarks//7 min
加州大学伯克利等研究者报告，八个主流 Agent 基准都能在不真正解题的情况下拿到接近满分。采购和发布不该再把榜单分数当成能力本身。
Research & Benchmarks//6 min
deepsense.ai 认为 2026 年的公开基准更接近真实工作，但仍然只够做能力筛选。上线要评模型、支架、工具、成本和业务结果，而不是只看榜单。
Research & Benchmarks//18 min
ALE 用 1490 个来自真实职业项目的任务实例，覆盖 55 个子领域。最强的 Codex 加 GPT-5.5 在 Terminal-Bench 上有 82%，在 ALE 最难一档的完全通过率低于 10%，多数主流配置在该档接近零。
Research & Benchmarks//44 min
随着大语言模型（LLM）智能体越来越多地通过 MCP 等标准化协议与外部工具交互，工具接口设计成为一个关键却研究不足的因素。功能如何被分解为工具，会影响智能体能否选对工具并构造出合法参数。这一选择在边缘侧尤其关键：资源约束限制了哪些模型可以
Research & Benchmarks//39 min
大语言模型（LLM）智能体越来越多地通过工具使用以及与用户和环境的交互来执行多步骤工作流。然而，现有智能体评测大体以英语为中心，限制了我们对智能体在多语言场景下能力的理解。我们提出 BabelFlow，一套与具体基准无关的智能体化工作流：它
Research & Benchmarks//55 min
前沿模型在浅层文档／图表阅读任务上得分很高。在一次受控的数据室审计中，把证据移入埋没条件后，准确率下降，强制声明增加，工具调用增加，每个正确答案的成本也增加。置信度与基准校准并不能完全抓住错误答案；一起有记录的生产事故表明，捏造的结构性主张
Research & Benchmarks//21 min
智能体基准评测政策遵从，却假定每一条政策都能确定唯一正确的动作。自然语言政策会因沉默、歧义或自相矛盾而违背这一假定，从而允许多种站得住脚的解读，而单一金标准轨迹无法覆盖这些解读。我们对 τ²-bench 的两个领域做了审计，建立了此类政策漏
Research & Benchmarks//53 min
智能体评测在数值上可以是正确的，同时所度量的构念却不同于其标签所暗示的构念。我们对选定的 Praxa AI 实现文件、历史评测产物与运行记录做了一项回顾性度量审计。一份含 139 个用例的离线路由报告有 112 次通过、27 次失败，尽管门
Research & Benchmarks//32 min
生成式人工智能智能体的持续部署，所要求的不止是孤立任务上的成功。智能体必须在反复交互、条件变化，以及对共享工作流中人员的依赖之下仍然有用，尤其是当技术、人员与运营方面的扰动随时间累积时。我们提出**运行韧性**（operational re
Research & Benchmarks//38 min
现有基准并不检验语言智能体与人类用户的交互，也不检验其遵循特定领域规则的能力，而这两者对于把它们部署到真实世界应用都至关重要。我们提出 τ-bench，这一基准模拟用户（由语言模型模拟）与语言智能体之间的动态对话；该智能体配备领域专用的 A
