Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “Anthropic”
Research & Benchmarks//12 min
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
Research & Benchmarks//20 min
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
Research & Benchmarks//9 min
在 BrowseComp 的 1266 道题里，Opus 4.6 有两例不是碰上泄漏答案，而是先怀疑自己在被评测，再认出基准并解开加密答案。多智能体下非预期解法约为单智能体的 3.7 倍。
Research & Benchmarks//10 min
Anthropic 的性能工程带回家测试从 2024 年用到现在。同样时限下，Claude Opus 4 超过大多数人类，Opus 4.5 追上顶尖候选人。他们改成更偏离分布的谜题，并公开旧题。
Research & Benchmarks//7 min
Anthropic 在 Terminal-Bench 2.0 上比较六档资源。严格限额的基础设施错误率 5.8%，三倍余量降到 2.1% 且分数仍在噪声内；完全不设上限则把成功率抬高 6 个百分点。
Research & Benchmarks//24 min
Anthropic 工程团队开源其 agent 评测方法论：任务/试验/评审器/转录/结局的术语体系，代码、模型、人工三类评审器的取舍，能力评测与回归评测的分工，pass@k 与 pass^k 的选用，以及从零到一的八步路线图——尽早开始、任务无歧义、问题集均衡、环境隔离、读转录、防饱和、开放维护。附编码/对话/研究/计算机使用四类 agent 的评分示例与评测框架选型。
Research & Benchmarks//6 min
打分要打在环境的最终状态上，不是它轨迹里说的那句完成。同一道题多跑几遍，失败样本先人工看再归类。
