行业与实践 · 标签「评测」

最新优先最早优先

查看全部

研究与基准测试2026-10-0221 分钟
Agent 的毕业考·附录卷（下）：评测协议与失败分析
《Agents' Last Exam》附录 C–D 完整中译：任务规格协议、执行位置与产物模式全分类、gate-and-score 等分数组合模式、证据锚定的 LLM 评审探针设计与评审类型经验分布、GCUA harness 内部结构与 14 个桌面动作工具；以及公开子集代表性验证、超时分析、两级失败分类法（理解与方法类失败占约四分之三）、模型效应约为 harness 效应 3 倍的分解、成本效率与逐任务分数热力图。
研究与基准测试2026-10-0214 分钟
Agent 的毕业考·附录卷（上）：ALE 构建细节与任务卡片
《Agents' Last Exam》参考文献与附录 A–B 完整中译：SOC/O*NET 分类法推导、制造与工业运营/生物分子结构与设计/3D 动画与交互媒体/机器人与自主系统等六大行业版图综述、五道关卡任务构建流水线，以及制造 G-code、音频转写、色键合成、游戏骨骼动画、放射影像五个代表性任务卡片。
研究与基准测试2026-10-0218 分钟
Agent 的毕业考：ALE 用 1490 个真实行业任务度量经济价值工作
UC Berkeley 联合 250 多位行业专家推出 Agents' Last Exam（ALE）：55 个子领域、13 个行业集群、1490 个来自专家真实交付项目的任务实例，全部用确定性脚本自动验证。最强配置 Codex+GPT-5.5 总体通过率仅 24%，最难的末考层大面积挂零——基准成功与 GDP 相关影响之间的鸿沟，第一次被完整量化。本卷为正文，参考文献与附录见下两卷。
研究与基准测试2026-10-0224 分钟
Agent 可靠性科学·附录卷（下）：实验细节与完整结果
《普林斯顿提出 Agent 可靠性科学》附录 F–G 中译：τ-bench 与 GAIA 基准的详细描述、agent 实现、提示词扰动/故障注入/环境扰动/置信度估计/安全评测五个协议，以及连接真实失败案例、跨时间趋势、一致性与可预测性完整结果等扩展图表。
研究与基准测试2026-10-0233 分钟
Agent 可靠性科学·附录卷（上）：扩展建议、局限、指标细节与研究议程
《普林斯顿提出 Agent 可靠性科学》附录 A–E 中译：四条建议的展开、五类局限与两个异议的回应、十二个指标的直觉示例、航空/核电/汽车等安全关键领域的可靠性实践对照，以及覆盖长程可靠性、多 agent、在线监控等八个方向的研究议程。
研究与基准测试2026-10-0225 分钟
普林斯顿提出 Agent 可靠性科学：12 个指标证明能力提升带不来可靠
普林斯顿团队把安全关键工程的可靠性理念引入 AI agent 评测：一致性、鲁棒性、可预测性、安全四个维度共 12 个指标，在 τ-bench 与 GAIA 上测了 15 个模型。结论是 24 个月的能力飞跃只带来微小的可靠性改进——准确率大涨的模型依旧多次运行不一致、对提示词改写脆弱、常常不知道自己何时会失败。本卷为正文（含参考文献），附录见下两卷。
研究与基准测试2026-09-3028 分钟
GDPval：在真实、有经济价值的任务上评测 AI 模型
OpenAI 用 44 种职业、1,320 道真实任务比较模型与专家。金标准子集上 Claude Opus 4.1 有 47.6% 的交付物优于或同样好于人类；自动评分器与人类一致率 65.7%，人类互评为 70.8%。
研究与基准测试2026-09-3016 分钟
UserProxyBench：用户模拟器会改写智能体基准结果
把智能体固定为 GPT-5.5、只换用户代理，375 道企业任务的平均奖励变动 15.2 分。成功回合里 24.4% 违反用户合同，主因是过早披露；它几乎不改变奖励，却让智能体平均少做 1.06 次工具调用。
研究与基准测试2026-09-3022 分钟
Messier：把 30 个 Agent 基准对齐成可审计的逐任务记录
Andromede 发布 CC BY 语料 Messier：957,253 条试验结局，覆盖 30 个基准。全通过评分会把部分完成打成零，开放数据拟合的能力排序与 Epoch ECI 的 Spearman 相关为 0.81。
研究与基准测试2026-09-307 分钟
主流 Agent 基准可以被打穿：分数不再等于能力
加州大学伯克利等研究者报告，八个主流 Agent 基准都能在不真正解题的情况下拿到接近满分。采购和发布不该再把榜单分数当成能力本身。
研究与基准测试2026-09-308 分钟
τ^τ-Bench：评的不是当客服，而是能不能把客服 Agent 做出来
Sierra 与普林斯顿的 CC BY 论文把「构建 Agent」本身做成任务。53 道题、四个领域里，最强配置 Claude Opus 5 加 Claude Code 只通过 23.9% 的评测仿真，专家参考上限是 82.2%。
研究与基准测试2026-09-307 分钟
METR 前沿风险试点：内部 Agent 有没有手段、动机和机会
2026 年 2 月到 3 月，METR 在 Anthropic、Google、Meta、OpenAI 参与下评估内部 Agent 的失控部署风险。判断是：小规模失控部署当时说得通，做成很稳固则还没有手段。
研究与基准测试2026-09-306 分钟
OpenAI Cookbook：用轨迹、评测和 Codex 把 Agent 改进转起来
Wesley Pasfield 在 2026 年 5 月的笔记本里搭了一条闭环：真实轨迹、人工和模型反馈、Promptfoo 评测、HALO 排序，再交给 Codex 改支架。评论先过，再考虑自动合并。
研究与基准测试2026-09-306 分钟
OpenAI 与 Paradigm 发布 EVMbench：在智能合约上评测 Agent
EVMbench 用 40 次审计里的 117 个高危漏洞，测 Agent 能否发现、修补和利用智能合约问题。利用模式分数涨得快，发现和修补仍然明显更难。
研究与基准测试2026-09-307 分钟
OpenAI：SWE-bench Verified 已经测不出前沿编程能力
2026 年 2 月，OpenAI 停止报告 SWE-bench Verified。抽查常失败题目后，至少 59.4% 的测试会拒绝功能正确的补丁，而且前沿模型能复述金标准补丁。
研究与基准测试2026-09-306 分钟
OpenAI 审计 SWE-Bench Pro：大约三成任务是坏的
2026 年 7 月，OpenAI 用自动管线加五名工程师复审，估计 SWE-Bench Pro 约 30% 的任务有问题。公开子集上八个月内从 23.3% 升到 80.3%，并不能直接当成能力跃升。
研究与基准测试2026-09-306 分钟
榜首模型不一定该上线：公开基准之外怎么评测整套系统
deepsense.ai 认为 2026 年的公开基准更接近真实工作，但仍然只够做能力筛选。上线要评模型、支架、工具、成本和业务结果，而不是只看榜单。
研究与基准测试2026-09-306 分钟
τ-bench 如何把「做成一次」和「每次都能做成」拆开
Sierra 的 τ-bench 从 2024 年 6 月起测工具、Agent 和用户的多轮交互，并用重复成功率暴露一次通过掩盖的不稳定。它后来成为研究和行业评测的参照。
研究与基准测试2026-09-306 分钟
Terminal-Bench 2.1：89 道终端任务上的一次核对修订
Artificial Analysis 介绍的 Terminal-Bench 2.1 仍是 89 道硬任务，但修了环境和指令，让分数反映 Agent 能力而不是环境缺口。评测用 Terminus 2，每题三次取 pass@1。
研究与基准测试2026-09-308 分钟
没有度量就没有改进：腾讯云 ADP 把 RAG 评测拆成检索、生成和端到端
腾讯云 ADP 把生产级 RAG 的深水区收成切片、跨文档、评测、知识治理和证据决策。检索看 Recall@K 与延迟，生成看忠实度和相关性，端到端看任务完成率。原文没有给出实测分数。