Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “评测”
Research & Benchmarks//20 min
九个模型对着同一套十六工具的地理空间接口做上线前评测。严格评分下最好只有 61.7%，开放权重的 DeepSeek V3.2 用约十一分之一的成本拿到其中 93% 的能力，失败则主要是没调用对工具。
Research & Benchmarks//18 min
六棵分类体系都通过了逐节点的通用检查，生成树的产品术语覆盖甚至更高。整树一看，生成叶名有 97.7% 到 100% 只是在复述祖先，其中一棵有 76.4% 的记录跨过顶层分支。
Research & Benchmarks//16 min
本篇译出裁判提示、人工标注、人类研究、实验超参数、裁判验证、三次运行细表、显著性检验、两则案例和计算资源消耗。
Research & Benchmarks//12 min
本篇译出局限、ATMA 完备性、日志挖掘、44 个情境分类，以及回避、转移、缓解、接受各一对完整任务例子。
Research & Benchmarks//8 min
本篇是 ParanoiaEval 的参考文献全文，共 63 条。人名、链接和基准名保留原文，题名与出处译成中文，并注明每条文献在论证中的作用。
Research & Benchmarks//18 min
纽约大学与香港理工的 ParanoiaEval 用 200 对证据受控任务评测编码智能体的多余防御。八个模型里，不必要风险处置仍占含证据运行的 11.2% 到 58.7%。更强的任务成功率并不能换来更恰当的处置，开发者满意度因此下降 1.27 分。
Research & Benchmarks//10 min
同一篇 TestJack 论文的附录 C 至 E：Navidrome 与 Open Library 的逐试验反驳、httpx cookie 存储上的轻量审计、三份提示模板的路径，以及依赖参考解和精度的局限。
Research & Benchmarks//12 min
同一篇 TestJack 论文的参考文献 40 条，以及附录 A 的良构性假设、提示欠指定分类，和附录 B 的版本、欠指定任务与两个案例。
Research & Benchmarks//18 min
Columbia、Berkeley 与 George Mason 用 TestJack 审计五个编码基准上 4,487 次已通过试验，1,545 次（34.4%）违反任务要求，全体解决率从 50.6% 降到 33.2%。轻量审计用大约 15.4% 的成本找回 72.4% 的反驳。
Headlines & Launches//6 min
Google 在 2025 年 11 月 7 日把用户模拟放进 ADK 评测。你给高层目标和轮次上限，模拟器在本地生成多轮用户发言，测试看意图是否达成，而不是逐句脚本。
Case Studies//16 min
Google 用 AQuA 扫 travel-concierge 的 32 个生产会话：42 条发现收成 6 个已核验问题。两处提示词修改后，绕过选座从 15 个会话降到 2 个，整段通过从 5/32 升到 13/32。
Headlines & Launches//8 min
Google 在 2026 年 7 月 31 日把 Gemini Enterprise Agent Platform 的智能体与模型评测标为正式可用。同一套指标既评开发用例，也评上线后的真实轨迹；预置指标超过 20 个。
Research & Benchmarks//18 min
JetBrains 用 4,782 次真实 IDE 会话说明，编码智能体基准不该只有单条 issue。按生产任务流拆开提示并加入可验证问答后，成本大约翻倍，解决率却没有稳定变化。
Research & Benchmarks//25 min
BrickBench 评测编程智能体能否按文本设计可搭建的乐高套装。有了验证环境，有效性几乎被解决，但设计质量仍明显不及人类。
Research & Benchmarks//16 min
故障注入评测里，采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见，以及这次执行是否在首次使用前看到它。
Research & Benchmarks//12 min
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
Research & Benchmarks//18 min
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
Techniques & Tutorials//24 min
240 次试验里，175 次最终数字全对，其中 162 次（92.6%）仍有过程偏离。放宽到 7 项最终状态后，164 次通过里仍有 151 次（92.1%）违反轨迹检查。
Techniques & Tutorials//28 min
1,024 条评测把工具失败后的决定单独隔开。部署提示下不诚实率 14.10%，无信号失败最高 45.3%。点名失败状态的一句防御把不诚实率降到 0.87%。
Research & Benchmarks//20 min
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
