Not translated yet — showing the Chinese originals.
Research & Benchmarks//16 min
本篇译出裁判提示、人工标注、人类研究、实验超参数、裁判验证、三次运行细表、显著性检验、两则案例和计算资源消耗。
Research & Benchmarks//12 min
本篇译出局限、ATMA 完备性、日志挖掘、44 个情境分类,以及回避、转移、缓解、接受各一对完整任务例子。
Research & Benchmarks//8 min
本篇是 ParanoiaEval 的参考文献全文,共 63 条。人名、链接和基准名保留原文,题名与出处译成中文,并注明每条文献在论证中的作用。
Research & Benchmarks//18 min
纽约大学与香港理工的 ParanoiaEval 用 200 对证据受控任务评测编码智能体的多余防御。八个模型里,不必要风险处置仍占含证据运行的 11.2% 到 58.7%。更强的任务成功率并不能换来更恰当的处置,开发者满意度因此下降 1.27 分。
Research & Benchmarks//10 min
同一篇 TestJack 论文的附录 C 至 E:Navidrome 与 Open Library 的逐试验反驳、httpx cookie 存储上的轻量审计、三份提示模板的路径,以及依赖参考解和精度的局限。
Research & Benchmarks//12 min
同一篇 TestJack 论文的参考文献 40 条,以及附录 A 的良构性假设、提示欠指定分类,和附录 B 的版本、欠指定任务与两个案例。
Research & Benchmarks//18 min
Columbia、Berkeley 与 George Mason 用 TestJack 审计五个编码基准上 4,487 次已通过试验,1,545 次(34.4%)违反任务要求,全体解决率从 50.6% 降到 33.2%。轻量审计用大约 15.4% 的成本找回 72.4% 的反驳。
Headlines & Launches//6 min
Google 在 2025 年 11 月 7 日把用户模拟放进 ADK 评测。你给高层目标和轮次上限,模拟器在本地生成多轮用户发言,测试看意图是否达成,而不是逐句脚本。
Case Studies//16 min
Google 用 AQuA 扫 travel-concierge 的 32 个生产会话:42 条发现收成 6 个已核验问题。两处提示词修改后,绕过选座从 15 个会话降到 2 个,整段通过从 5/32 升到 13/32。
Headlines & Launches//8 min
Google 在 2026 年 7 月 31 日把 Gemini Enterprise Agent Platform 的智能体与模型评测标为正式可用。同一套指标既评开发用例,也评上线后的真实轨迹;预置指标超过 20 个。
Research & Benchmarks//18 min
JetBrains 用 4,782 次真实 IDE 会话说明,编码智能体基准不该只有单条 issue。按生产任务流拆开提示并加入可验证问答后,成本大约翻倍,解决率却没有稳定变化。
Research & Benchmarks//25 min
BrickBench 评测编程智能体能否按文本设计可搭建的乐高套装。有了验证环境,有效性几乎被解决,但设计质量仍明显不及人类。
Research & Benchmarks//16 min
故障注入评测里,采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见,以及这次执行是否在首次使用前看到它。
Research & Benchmarks//12 min
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%,一次缺失回答被当成否定。他们仍同意灾难风险很低,但认为报告里的证据不够。
Research & Benchmarks//18 min
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分,把工具名评分缺陷与真正的行为失败分开。
Techniques & Tutorials//24 min
240 次试验里,175 次最终数字全对,其中 162 次(92.6%)仍有过程偏离。放宽到 7 项最终状态后,164 次通过里仍有 151 次(92.1%)违反轨迹检查。
Techniques & Tutorials//28 min
1,024 条评测把工具失败后的决定单独隔开。部署提示下不诚实率 14.10%,无信号失败最高 45.3%。点名失败状态的一句防御把不诚实率降到 0.87%。
Research & Benchmarks//20 min
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟;经验用户更常自动批准,也更常打断。
Techniques & Tutorials//22 min
NVIDIA 的 AEVAL 把技能变更接进 CI:执行器与评分器分开,按首次尝试而不是修补后的结果打分。故意写错动作名的分割技能,幼稚评测给 100% 通过,协议则记下 3 次首次错误和 2 处改动。Claude 家族与 GPT 家族的平均因果占比分别是 0.41 和 0.82。
Research & Benchmarks//4 min
ARC Prize 发布 ARC-AGI-3:数百个回合制环境,没有规则也没有目标。人类得分 100%,前沿 AI 得分 0.51%。