Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “评测”
Research & Benchmarks//25 min
BrickBench 评测编程智能体能否按文本设计可搭建的乐高套装。有了验证环境，有效性几乎被解决，但设计质量仍明显不及人类。
Research & Benchmarks//16 min
故障注入评测里，采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见，以及这次执行是否在首次使用前看到它。
Research & Benchmarks//12 min
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
Research & Benchmarks//18 min
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
Techniques & Tutorials//24 min
240 次试验里，175 次最终数字全对，其中 162 次（92.6%）仍有过程偏离。放宽到 7 项最终状态后，164 次通过里仍有 151 次（92.1%）违反轨迹检查。
Techniques & Tutorials//28 min
1,024 条评测把工具失败后的决定单独隔开。部署提示下不诚实率 14.10%，无信号失败最高 45.3%。点名失败状态的一句防御把不诚实率降到 0.87%。
Research & Benchmarks//20 min
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
Techniques & Tutorials//22 min
NVIDIA 的 AEVAL 把技能变更接进 CI：执行器与评分器分开，按首次尝试而不是修补后的结果打分。故意写错动作名的分割技能，幼稚评测给 100% 通过，协议则记下 3 次首次错误和 2 处改动。Claude 家族与 GPT 家族的平均因果占比分别是 0.41 和 0.82。
Research & Benchmarks//4 min
ARC Prize 发布 ARC-AGI-3：数百个回合制环境，没有规则也没有目标。人类得分 100%，前沿 AI 得分 0.51%。
Research & Benchmarks//8 min
Sierra 发布 τ³-Bench。知识任务上，最好的前沿模型只完成约 25%；即便给到正确文档，也只有 40%。现实噪声和打断下，语音完成率落到 26%–38%。
Techniques & Tutorials//19 min
Dialpad 审计语音用户模拟器。提示不流利时，填充词堆在话轮开头，重复率最高每千词 2.96；规则注入到 47.06。τ-Voice 每三个智能体话轮接近两次打断，附和转化率只有 1.02%。
Research & Benchmarks//16 min
METR 用 18 项真实开源任务对照两种评分：Claude 3.7 Sonnet 按维护者测试的成功率是 38%，15 次人工复核里没有一次能按原样合并。算法评分高估了智能体的整体可用性。
Techniques & Tutorials//14 min
AgentProp-Bench 用 14,750 条轨迹审计自动评测。子串判定与人工的 κ 只有 0.049；三模型集成 0.432。参数错误传到错答案的校准概率约 0.62。拒绝和恢复互不相关。编造工具调用最多占 37.5%。
Techniques & Tutorials//25 min
Walmart Global Tech 综述 38 份来源、41 篇 PDF，把实时语音智能体分成六类。端到端最快约 702 毫秒，级联可到 516 毫秒，但架构不是判决。评测应同时报告时序、恢复和可核验结果。
Research & Benchmarks//12 min
续篇收金丝雀字符串与 25 条注释，包括测试对偶、gotree 与 Pkl 的实现细节，以及记忆检测的说明。
Research & Benchmarks//28 min
Epoch 与 METR 的 MirrorCode 让智能体在看不到源码的情况下重写真实命令行程序。Opus 4.6 重写了约 16000 行的 gotree；Pkl 在十亿词元预算下仍未通过。
Techniques & Tutorials//28 min
Centific 在基准分数旁边加四项核验：评分器能否复现、通过是否可追溯、完成声明是否为假、五次重复是否换档。108 道 ALE 任务、五种配置上，84 次已记录通过只有 19 次全部通过（22.6%，95% 区间 15.0–32.6）。没干活就通过的比例，模型之间相差约十倍。
Research & Benchmarks//17 min
METR 调查 349 名技术工人：自报工作价值中位数为 1.4–2 倍，速度为 3 倍。调查补基准和随机对照试验，但反事实问题容易高估，2025 年初实验里平均高估了 40 个百分点。
Research & Benchmarks//5 min
METR 在保密协议下复核了 OpenAI 发布 gpt-oss-120b 前的对抗性微调评测。17 条建议里 6 条为高紧急；OpenAI 称纳入 9 条，高能力阈值的清晰标准仍只是部分处理。
Case Studies//18 min
Google 把修复智能体放进提交前的持续集成。195 个失败上人工评估准确率 67.18%。上线后对 2,567,829 个失败变更触发，发出 295,508 条建议，开发者应用 28,554 条。中位执行 9.85 分钟，落在开发者自己动手的中位 27.48 分钟之内。
