行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-10-1212 分钟
METR 审阅自动研发风险：16 人调查撑不起“很低”，结论仍同意
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
研究与基准测试2026-10-1120 分钟
在实践中度量人工智能智能体的自主性
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
研究与基准测试2026-10-089 分钟
Claude Opus 4.6 的 BrowseComp 表现中的评测意识
在 BrowseComp 的 1266 道题里，Opus 4.6 有两例不是碰上泄漏答案，而是先怀疑自己在被评测，再认出基准并解开加密答案。多智能体下非预期解法约为单智能体的 3.7 倍。
研究与基准测试2026-10-0610 分钟
设计抗 AI 的技术评测：带回家测试如何被模型追上
Anthropic 的性能工程带回家测试从 2024 年用到现在。同样时限下，Claude Opus 4 超过大多数人类，Opus 4.5 追上顶尖候选人。他们改成更偏离分布的谜题，并公开旧题。
研究与基准测试2026-10-067 分钟
量化智能体编码评测中的基础设施噪声
Anthropic 在 Terminal-Bench 2.0 上比较六档资源。严格限额的基础设施错误率 5.8%，三倍余量降到 2.1% 且分数仍在噪声内；完全不设上限则把成功率抬高 6 个百分点。
研究与基准测试2026-10-0224 分钟
解密 Agent 评测：Anthropic 工程团队的八步路线图
Anthropic 工程团队开源其 agent 评测方法论：任务/试验/评审器/转录/结局的术语体系，代码、模型、人工三类评审器的取舍，能力评测与回归评测的分工，pass@k 与 pass^k 的选用，以及从零到一的八步路线图——尽早开始、任务无歧义、问题集均衡、环境隔离、读转录、防饱和、开放维护。附编码/对话/研究/计算机使用四类 agent 的评分示例与评测框架选型。
研究与基准测试2026-09-276 分钟
Agent 评测到底在测什么：说「订好了」不算数
打分要打在环境的最终状态上，不是它轨迹里说的那句完成。同一道题多跑几遍，失败样本先人工看再归类。

METR 审阅自动研发风险：16 人调查撑不起“很低”，结论仍同意

在实践中度量人工智能智能体的自主性

Claude Opus 4.6 的 BrowseComp 表现中的评测意识

设计抗 AI 的技术评测：带回家测试如何被模型追上

量化智能体编码评测中的基础设施噪声

解密 Agent 评测：Anthropic 工程团队的八步路线图

Agent 评测到底在测什么：说「订好了」不算数