行业与实践 · 标签「评测」

最新优先最早优先

查看全部

研究与基准测试2026-10-1212 分钟
METR 审阅自动研发风险：16 人调查撑不起“很低”，结论仍同意
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
研究与基准测试2026-10-1218 分钟
TRACE：诊断智能体评测中的验证器脆性
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
方法与教程2026-10-1124 分钟
技能一直在改：过程级评测才能拦住看起来正确的回归
240 次试验里，175 次最终数字全对，其中 162 次（92.6%）仍有过程偏离。放宽到 7 项最终状态后，164 次通过里仍有 151 次（92.1%）违反轨迹检查。
方法与教程2026-10-1128 分钟
工具失败之后：智能体会把没返回的值说成答案
1,024 条评测把工具失败后的决定单独隔开。部署提示下不诚实率 14.10%，无信号失败最高 45.3%。点名失败状态的一句防御把不诚实率降到 0.87%。
研究与基准测试2026-10-1120 分钟
在实践中度量人工智能智能体的自主性
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
方法与教程2026-10-1122 分钟
AEVAL：把智能体技能测试从凭印象改成可重复
NVIDIA 的 AEVAL 把技能变更接进 CI：执行器与评分器分开，按首次尝试而不是修补后的结果打分。故意写错动作名的分割技能，幼稚评测给 100% 通过，协议则记下 3 次首次错误和 2 处改动。Claude 家族与 GPT 家族的平均因果占比分别是 0.41 和 0.82。
研究与基准测试2026-10-114 分钟
发布 ARC-AGI-3：面向前沿智能体智能的一项新挑战
ARC Prize 发布 ARC-AGI-3：数百个回合制环境，没有规则也没有目标。人类得分 100%，前沿 AI 得分 0.51%。
研究与基准测试2026-10-118 分钟
τ³-Bench：把智能体基准评测推进到知识与语音
Sierra 发布 τ³-Bench。知识任务上，最好的前沿模型只完成约 25%；即便给到正确文档，也只有 40%。现实噪声和打断下，语音完成率落到 26%–38%。
方法与教程2026-10-1019 分钟
提示词对不上规则：语音用户模拟器要报实现了的自然度
Dialpad 审计语音用户模拟器。提示不流利时，填充词堆在话轮开头，重复率最高每千词 2.96；规则注入到 47.06。τ-Voice 每三个智能体话轮接近两次打断，附和转化率只有 1.02%。
研究与基准测试2026-10-1016 分钟
研究更新：算法评估与整体评估
METR 用 18 项真实开源任务对照两种评分：Claude 3.7 Sonnet 按维护者测试的成功率是 38%，15 次人工复核里没有一次能按原样合并。算法评分高估了智能体的整体可用性。
方法与教程2026-10-1014 分钟
工具智能体评测审计：子串判定接近偶然，参数错误约六成传到错答案
AgentProp-Bench 用 14,750 条轨迹审计自动评测。子串判定与人工的 κ 只有 0.049；三模型集成 0.432。参数错误传到错答案的校准概率约 0.62。拒绝和恢复互不相关。编造工具调用最多占 37.5%。
方法与教程2026-10-1025 分钟
实时语音智能体评测：从部件质量到可核验的结果
Walmart Global Tech 综述 38 份来源、41 篇 PDF，把实时语音智能体分成六类。端到端最快约 702 毫秒，级联可到 516 毫秒，但架构不是判决。评测应同时报告时序、恢复和可核验结果。
研究与基准测试2026-10-1012 分钟
MirrorCode：已有证据表明人工智能已经能够完成某些长达数周的编码任务（续）
续篇收金丝雀字符串与 25 条注释，包括测试对偶、gotree 与 Pkl 的实现细节，以及记忆检测的说明。
研究与基准测试2026-10-1028 分钟
MirrorCode：已有证据表明人工智能已经能够完成某些长达数周的编码任务
Epoch 与 METR 的 MirrorCode 让智能体在看不到源码的情况下重写真实命令行程序。Opus 4.6 重写了约 16000 行的 gotree；Pkl 在十亿词元预算下仍未通过。
方法与教程2026-10-1028 分钟
信任层：已记录的通过，四项检查后还剩 22.6%
Centific 在基准分数旁边加四项核验：评分器能否复现、通过是否可追溯、完成声明是否为假、五次重复是否换档。108 道 ALE 任务、五种配置上，84 次已记录通过只有 19 次全部通过（22.6%，95% 区间 15.0–32.6）。没干活就通过的比例，模型之间相差约十倍。
研究与基准测试2026-10-1017 分钟
度量 2026 年初 AI 对技术工人生产率的自报影响
METR 调查 349 名技术工人：自报工作价值中位数为 1.4–2 倍，速度为 3 倍。调查补基准和随机对照试验，但反事实问题容易高估，2025 年初实验里平均高估了 40 个百分点。
研究与基准测试2026-10-095 分钟
我们对 gpt-oss 方法论复核的摘要
METR 在保密协议下复核了 OpenAI 发布 gpt-oss-120b 前的对抗性微调评测。17 条建议里 6 条为高紧急；OpenAI 称纳入 9 条，高能力阈值的清晰标准仍只是部分处理。
案例研究2026-10-0918 分钟
FlowAgent：在开发者切走之前修好提交前测试
Google 把修复智能体放进提交前的持续集成。195 个失败上人工评估准确率 67.18%。上线后对 2,567,829 个失败变更触发，发出 295,508 条建议，开发者应用 28,554 条。中位执行 9.85 分钟，落在开发者自己动手的中位 27.48 分钟之内。
方法与教程2026-10-0916 分钟
LiteTrajEval：用一次评判、固定预算给生产轨迹定位失败
华为把轨迹评测收成一次量表评判。相对 AgentRx，Magentic-One 上失败定位对齐大约高 20–35 个百分点，同一 GPT-5-mini 下总费用从 2.4628 美元降到 0.4155 美元，评测时间从 15,990 秒降到 1,840 秒。只靠规则时，τ-retail 检出率只有 31.0%。
研究与基准测试2026-10-097 分钟
任务替代与生产率提升
METR 区分旧任务上的提升、新任务上的提升和价值上的提升。任务替代会把三者拉开：旧任务度量偏向下界，新任务度量偏向上界，价值提升落在中间。