Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “智能体评测”
Case Studies//18 min
Meta 的生产分析智能体每次跑完 519 题大约要 3 小时。在 574 次历史运行上，多维 2PL 自适应测试只跑 200 题（38.5%）时，通过率 MAE 为 1.03 个百分点；300 题时与整卷排名的 Spearman 为 0.992。实际部署的是按难度分层的固定子集，可不重新标定迁到另外 5 个智能体族，标定窗短到 1 天仍稳定。
Research & Benchmarks//18 min
ALE 用 1490 个来自真实职业项目的任务实例，覆盖 55 个子领域。最强的 Codex 加 GPT-5.5 在 Terminal-Bench 上有 82%，在 ALE 最难一档的完全通过率低于 10%，多数主流配置在该档接近零。
Research & Benchmarks//44 min
随着大语言模型（LLM）智能体越来越多地通过 MCP 等标准化协议与外部工具交互，工具接口设计成为一个关键却研究不足的因素。功能如何被分解为工具，会影响智能体能否选对工具并构造出合法参数。这一选择在边缘侧尤其关键：资源约束限制了哪些模型可以
Research & Benchmarks//39 min
大语言模型（LLM）智能体越来越多地通过工具使用以及与用户和环境的交互来执行多步骤工作流。然而，现有智能体评测大体以英语为中心，限制了我们对智能体在多语言场景下能力的理解。我们提出 BabelFlow，一套与具体基准无关的智能体化工作流：它
Research & Benchmarks//55 min
前沿模型在浅层文档／图表阅读任务上得分很高。在一次受控的数据室审计中，把证据移入埋没条件后，准确率下降，强制声明增加，工具调用增加，每个正确答案的成本也增加。置信度与基准校准并不能完全抓住错误答案；一起有记录的生产事故表明，捏造的结构性主张
Research & Benchmarks//21 min
智能体基准评测政策遵从，却假定每一条政策都能确定唯一正确的动作。自然语言政策会因沉默、歧义或自相矛盾而违背这一假定，从而允许多种站得住脚的解读，而单一金标准轨迹无法覆盖这些解读。我们对 τ²-bench 的两个领域做了审计，建立了此类政策漏
Research & Benchmarks//53 min
智能体评测在数值上可以是正确的，同时所度量的构念却不同于其标签所暗示的构念。我们对选定的 Praxa AI 实现文件、历史评测产物与运行记录做了一项回顾性度量审计。一份含 139 个用例的离线路由报告有 112 次通过、27 次失败，尽管门
Research & Benchmarks//32 min
生成式人工智能智能体的持续部署，所要求的不止是孤立任务上的成功。智能体必须在反复交互、条件变化，以及对共享工作流中人员的依赖之下仍然有用，尤其是当技术、人员与运营方面的扰动随时间累积时。我们提出**运行韧性**（operational re
Research & Benchmarks//38 min
现有基准并不检验语言智能体与人类用户的交互，也不检验其遵循特定领域规则的能力，而这两者对于把它们部署到真实世界应用都至关重要。我们提出 τ-bench，这一基准模拟用户（由语言模型模拟）与语言智能体之间的动态对话；该智能体配备领域专用的 A
Research & Benchmarks//31 min
尽管人工智能基准测试进步迅速，基准成绩在现实世界中究竟意味着什么，仍然不清楚。为了用人类能力来量化人工智能系统的能力，我们提出一项新指标：50% 任务完成时间视界（50%-task-completion time horizon），即人工智
Research & Benchmarks//36 min
BenchShield 讨论如何用形式化模型支撑的插桩，检查智能体评测里的奖励是否被篡改。
Research & Benchmarks//28 min
BenchShield 讨论如何用形式化模型支撑的插桩，检查智能体评测里的奖励是否被篡改。
