Not translated yet — showing the Chinese originals.

Industry & Practice · Research & Benchmarks

Newest firstOldest first

RSS

Newest firstOldest first

Benchmarks we ran and public figures we checked, with the method and its limits attached.

Show everything

Research & Benchmarks2026-10-1316 min
ParanoiaEval 续：附录 F 至 O
本篇译出裁判提示、人工标注、人类研究、实验超参数、裁判验证、三次运行细表、显著性检验、两则案例和计算资源消耗。
Research & Benchmarks2026-10-1312 min
ParanoiaEval 续：附录 A 至 E
本篇译出局限、ATMA 完备性、日志挖掘、44 个情境分类，以及回避、转移、缓解、接受各一对完整任务例子。
Research & Benchmarks2026-10-138 min
ParanoiaEval 续：参考文献
本篇是 ParanoiaEval 的参考文献全文，共 63 条。人名、链接和基准名保留原文，题名与出处译成中文，并注明每条文献在论证中的作用。
Research & Benchmarks2026-10-1318 min
ParanoiaEval：基准评测智能体编码中不必要的防御性工作
纽约大学与香港理工的 ParanoiaEval 用 200 对证据受控任务评测编码智能体的多余防御。八个模型里，不必要风险处置仍占含证据运行的 11.2% 到 58.7%。更强的任务成功率并不能换来更恰当的处置，开发者满意度因此下降 1.27 分。
Research & Benchmarks2026-10-1310 min
TestJack 续：案例研究、提示模板与局限
同一篇 TestJack 论文的附录 C 至 E：Navidrome 与 Open Library 的逐试验反驳、httpx cookie 存储上的轻量审计、三份提示模板的路径，以及依赖参考解和精度的局限。
Research & Benchmarks2026-10-1312 min
TestJack 续：参考文献与方法附录
同一篇 TestJack 论文的参考文献 40 条，以及附录 A 的良构性假设、提示欠指定分类，和附录 B 的版本、欠指定任务与两个案例。
Research & Benchmarks2026-10-1318 min
TestJack：你该相信编码基准里的结果吗？
Columbia、Berkeley 与 George Mason 用 TestJack 审计五个编码基准上 4,487 次已通过试验，1,545 次（34.4%）违反任务要求，全体解决率从 50.6% 降到 33.2%。轻量审计用大约 15.4% 的成本找回 72.4% 的反驳。
Research & Benchmarks2026-10-1318 min
观点：编码智能体基准应当匹配其用户的任务流
JetBrains 用 4,782 次真实 IDE 会话说明，编码智能体基准不该只有单条 issue。按生产任务流拆开提示并加入可验证问答后，成本大约翻倍，解决率却没有稳定变化。
Research & Benchmarks2026-10-1225 min
BrickBench：评测智能体式积木设计
BrickBench 评测编程智能体能否按文本设计可搭建的乐高套装。有了验证环境，有效性几乎被解决，但设计质量仍明显不及人类。
Research & Benchmarks2026-10-1216 min
SSCBench：评测面向工具使用型 LLM 智能体的故障注入测试的证据效力
故障注入评测里，采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见，以及这次执行是否在首次使用前看到它。
Research & Benchmarks2026-10-1212 min
METR 审阅自动研发风险：16 人调查撑不起“很低”，结论仍同意
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
Research & Benchmarks2026-10-1218 min
TRACE：诊断智能体评测中的验证器脆性
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
Research & Benchmarks2026-10-1120 min
在实践中度量人工智能智能体的自主性
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
Research & Benchmarks2026-10-114 min
发布 ARC-AGI-3：面向前沿智能体智能的一项新挑战
ARC Prize 发布 ARC-AGI-3：数百个回合制环境，没有规则也没有目标。人类得分 100%，前沿 AI 得分 0.51%。
Research & Benchmarks2026-10-118 min
τ³-Bench：把智能体基准评测推进到知识与语音
Sierra 发布 τ³-Bench。知识任务上，最好的前沿模型只完成约 25%；即便给到正确文档，也只有 40%。现实噪声和打断下，语音完成率落到 26%–38%。
Research & Benchmarks2026-10-1016 min
研究更新：算法评估与整体评估
METR 用 18 项真实开源任务对照两种评分：Claude 3.7 Sonnet 按维护者测试的成功率是 38%，15 次人工复核里没有一次能按原样合并。算法评分高估了智能体的整体可用性。
Research & Benchmarks2026-10-1012 min
MirrorCode：已有证据表明人工智能已经能够完成某些长达数周的编码任务（续）
续篇收金丝雀字符串与 25 条注释，包括测试对偶、gotree 与 Pkl 的实现细节，以及记忆检测的说明。
Research & Benchmarks2026-10-1028 min
MirrorCode：已有证据表明人工智能已经能够完成某些长达数周的编码任务
Epoch 与 METR 的 MirrorCode 让智能体在看不到源码的情况下重写真实命令行程序。Opus 4.6 重写了约 16000 行的 gotree；Pkl 在十亿词元预算下仍未通过。
Research & Benchmarks2026-10-1017 min
度量 2026 年初 AI 对技术工人生产率的自报影响
METR 调查 349 名技术工人：自报工作价值中位数为 1.4–2 倍，速度为 3 倍。调查补基准和随机对照试验，但反事实问题容易高估，2025 年初实验里平均高估了 40 个百分点。
Research & Benchmarks2026-10-095 min
我们对 gpt-oss 方法论复核的摘要
METR 在保密协议下复核了 OpenAI 发布 gpt-oss-120b 前的对抗性微调评测。17 条建议里 6 条为高紧急；OpenAI 称纳入 9 条，高能力阈值的清晰标准仍只是部分处理。