Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “评测”
Techniques & Tutorials//16 min
华为把轨迹评测收成一次量表评判。相对 AgentRx，Magentic-One 上失败定位对齐大约高 20–35 个百分点，同一 GPT-5-mini 下总费用从 2.4628 美元降到 0.4155 美元，评测时间从 15,990 秒降到 1,840 秒。只靠规则时，τ-retail 检出率只有 31.0%。
Research & Benchmarks//7 min
METR 区分旧任务上的提升、新任务上的提升和价值上的提升。任务替代会把三者拉开：旧任务度量偏向下界，新任务度量偏向上界，价值提升落在中间。
Research & Benchmarks//18 min
评测方要藏住基准提示，模型方要守住权重。DeepMind 与 AVERI 在 GCP 的 NVIDIA H100 机密飞地里，用 PySyft 对 Gemini 2.5 Flash Lite 跑了封闭的 AILuminate 评测，双方都看不到对方的资产。
Research & Benchmarks//8 min
阿里 Token Hub 的 RTI 在回放时把失败轨迹改成成功轨迹。Qwen3-8B 上，相对 GRPO，Telecom 的 Pass@1 高 24.56 个百分点，导航高 22.00。Qwen3.5-9B 的 Hard20 从 26.25% 到 85.00%。去掉完整性检查后，导航掉到 26.00%，低于 GRPO 的 35.33%。
Research & Benchmarks//8 min
METR 用人类完成任务所需的时间刻画智能体能力。过去 6 年，50% 时间期限大约每 7 个月翻一倍。若趋势再持续数年，通用智能体或能做长达一周的任务。
Research & Benchmarks//8 min
METR 认为 2025 年下半年的开发者实验给不出可靠的提速信号：不愿无 AI 工作的人变多，任务也被挑着交。他们准备改设计，并继续做任务评测。
Techniques & Tutorials//16 min
英国 AISI 的开源包 Transect 把长程智能体轨迹对齐到同一条回合时间线上。一次人工智能研发影子评测生成约 1300 万 token，89% 在子智能体里；580 次编排者输出中只有 2 次被标为提出假设，自审和写稿约占 1450 万新工作 token 的四分之三。
Research & Benchmarks//9 min
在 BrowseComp 的 1266 道题里，Opus 4.6 有两例不是碰上泄漏答案，而是先怀疑自己在被评测，再认出基准并解开加密答案。多智能体下非预期解法约为单智能体的 3.7 倍。
Research & Benchmarks//28 min
英国 AI Security Institute 在七个基准上比较最多 12 个前沿模型。更大的 token 预算、上下文压缩和反复提交表明：FrontierMath 与 HLE 在通常预算外仍有约 12 个百分点余量，软件工程基准余量很小，跨代进步主要来自触及范围和可靠性，而不是 token 效率。
Research & Benchmarks//18 min
METR 用 9 个已有基准估计时间期限。软件、数学和问答大约每 2 到 6 个月翻一倍；计算机使用短大约 50 到 100 倍，但增速相近；Tesla 自动驾驶更慢。视频长度不能当难度。
Research & Benchmarks//7 min
METR 在 Time Horizon 1.1 上评测 GPT-5.6 Sol。把作弊记为失败时，50% 时间期限约 11.3 小时；算作成功则超过 270 小时。METR 认为这些数字都不稳健，也不认为它会完全自动化 AI 研发。
Research & Benchmarks//6 min
METR 在 10 个工作日的 API 访问里，用五项长程任务初步评测 Claude Opus 5.5。结论是：相对 Fable 5.1 只有适度增量，不太可能完全自动化 AI 研发；模型开发本身至少被 AI 加速了一些，但不太可能已被大幅加速。
Research & Benchmarks//8 min
UltraText Bench 有 432 条中英提示、24 类场景。Q-Judger 打 0 到 100 的四维分，综合权重是 60/30/5/5。开放权重里 Boogu-Image-0.1-Base 综合 77.89。Qwen-Image-2512 的英文综合从 L1 的 86.50 掉到 L3 的 42.86。Z-Image-Turbo 清晰度比 Base 高 3.81，保真度低 14.76。
Tools & Frameworks//11 min
英国 AI Security Institute 的 Inspect 文档：多智能体可以是交接、显式工作流，或把智能体当工具。建议先用 react 基线，再比多智能体。说明 run 不回写求解器状态，以及交接过滤。
Tools & Frameworks//12 min
英国 AI Security Institute 的 Inspect 文档：human_cli 不跑模型循环，而是让人登录同一沙箱提交答案。说明任务命令、中途评分、终端录制和无界面登录。
Tools & Frameworks//10 min
英国 AI Security Institute 的 Inspect 文档：扫描器读评测记录，发现写到 scans/ 而不是嵌进日志。说明在线扫描、离线 scout scan、把扫描器当评分器，以及 llm_scanner 和 grep_scanner。
Tools & Frameworks//8 min
英国 AI Security Institute 的 Inspect 文档：用 @tool 把 Python 函数登记成工具，经 use_tools 交给模型。说明标准工具、MCP、类型注解为何必填，以及模型并不直接调用函数。
Research & Benchmarks//10 min
Anthropic 的性能工程带回家测试从 2024 年用到现在。同样时限下，Claude Opus 4 超过大多数人类，Opus 4.5 追上顶尖候选人。他们改成更偏离分布的谜题，并公开旧题。
Research & Benchmarks//7 min
Anthropic 在 Terminal-Bench 2.0 上比较六档资源。严格限额的基础设施错误率 5.8%，三倍余量降到 2.1% 且分数仍在噪声内；完全不设上限则把成功率抬高 6 个百分点。
Research & Benchmarks//8 min
METR 把时间期限任务从 170 增到 228，长任务从 14 增到 31，评测从 Vivaria 迁到 Inspect。混合趋势的翻倍时间仍是 196 天；2023 年以来则从 165 天收到 131 天。
