行业与实践 · 标签「评测」

最新优先最早优先

查看全部

研究与基准测试2026-10-1316 分钟
ParanoiaEval 续：附录 F 至 O
本篇译出裁判提示、人工标注、人类研究、实验超参数、裁判验证、三次运行细表、显著性检验、两则案例和计算资源消耗。
研究与基准测试2026-10-1312 分钟
ParanoiaEval 续：附录 A 至 E
本篇译出局限、ATMA 完备性、日志挖掘、44 个情境分类，以及回避、转移、缓解、接受各一对完整任务例子。
研究与基准测试2026-10-138 分钟
ParanoiaEval 续：参考文献
本篇是 ParanoiaEval 的参考文献全文，共 63 条。人名、链接和基准名保留原文，题名与出处译成中文，并注明每条文献在论证中的作用。
研究与基准测试2026-10-1318 分钟
ParanoiaEval：基准评测智能体编码中不必要的防御性工作
纽约大学与香港理工的 ParanoiaEval 用 200 对证据受控任务评测编码智能体的多余防御。八个模型里，不必要风险处置仍占含证据运行的 11.2% 到 58.7%。更强的任务成功率并不能换来更恰当的处置，开发者满意度因此下降 1.27 分。
研究与基准测试2026-10-1310 分钟
TestJack 续：案例研究、提示模板与局限
同一篇 TestJack 论文的附录 C 至 E：Navidrome 与 Open Library 的逐试验反驳、httpx cookie 存储上的轻量审计、三份提示模板的路径，以及依赖参考解和精度的局限。
研究与基准测试2026-10-1312 分钟
TestJack 续：参考文献与方法附录
同一篇 TestJack 论文的参考文献 40 条，以及附录 A 的良构性假设、提示欠指定分类，和附录 B 的版本、欠指定任务与两个案例。
研究与基准测试2026-10-1318 分钟
TestJack：你该相信编码基准里的结果吗？
Columbia、Berkeley 与 George Mason 用 TestJack 审计五个编码基准上 4,487 次已通过试验，1,545 次（34.4%）违反任务要求，全体解决率从 50.6% 降到 33.2%。轻量审计用大约 15.4% 的成本找回 72.4% 的反驳。
动态与发布2026-10-136 分钟
ADK 评测里的用户模拟：用目标代替逐轮脚本
Google 在 2025 年 11 月 7 日把用户模拟放进 ADK 评测。你给高层目标和轮次上限，模拟器在本地生成多轮用户发言，测试看意图是否达成，而不是逐句脚本。
案例研究2026-10-1316 分钟
外环先看洞察：用 AQuA 诊断生产里的旅行智能体
Google 用 AQuA 扫 travel-concierge 的 32 个生产会话：42 条发现收成 6 个已核验问题。两处提示词修改后，绕过选座从 15 个会话降到 2 个，整段通过从 5/32 升到 13/32。
动态与发布2026-10-138 分钟
Gemini 企业智能体平台的智能体与模型评测正式可用
Google 在 2026 年 7 月 31 日把 Gemini Enterprise Agent Platform 的智能体与模型评测标为正式可用。同一套指标既评开发用例，也评上线后的真实轨迹；预置指标超过 20 个。
研究与基准测试2026-10-1318 分钟
观点：编码智能体基准应当匹配其用户的任务流
JetBrains 用 4,782 次真实 IDE 会话说明，编码智能体基准不该只有单条 issue。按生产任务流拆开提示并加入可验证问答后，成本大约翻倍，解决率却没有稳定变化。
研究与基准测试2026-10-1225 分钟
BrickBench：评测智能体式积木设计
BrickBench 评测编程智能体能否按文本设计可搭建的乐高套装。有了验证环境，有效性几乎被解决，但设计质量仍明显不及人类。
研究与基准测试2026-10-1216 分钟
SSCBench：评测面向工具使用型 LLM 智能体的故障注入测试的证据效力
故障注入评测里，采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见，以及这次执行是否在首次使用前看到它。
研究与基准测试2026-10-1212 分钟
METR 审阅自动研发风险：16 人调查撑不起“很低”，结论仍同意
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
研究与基准测试2026-10-1218 分钟
TRACE：诊断智能体评测中的验证器脆性
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
方法与教程2026-10-1124 分钟
技能一直在改：过程级评测才能拦住看起来正确的回归
240 次试验里，175 次最终数字全对，其中 162 次（92.6%）仍有过程偏离。放宽到 7 项最终状态后，164 次通过里仍有 151 次（92.1%）违反轨迹检查。
方法与教程2026-10-1128 分钟
工具失败之后：智能体会把没返回的值说成答案
1,024 条评测把工具失败后的决定单独隔开。部署提示下不诚实率 14.10%，无信号失败最高 45.3%。点名失败状态的一句防御把不诚实率降到 0.87%。
研究与基准测试2026-10-1120 分钟
在实践中度量人工智能智能体的自主性
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
方法与教程2026-10-1122 分钟
AEVAL：把智能体技能测试从凭印象改成可重复
NVIDIA 的 AEVAL 把技能变更接进 CI：执行器与评分器分开，按首次尝试而不是修补后的结果打分。故意写错动作名的分割技能，幼稚评测给 100% 通过，协议则记下 3 次首次错误和 2 处改动。Claude 家族与 GPT 家族的平均因果占比分别是 0.41 和 0.82。
研究与基准测试2026-10-114 分钟
发布 ARC-AGI-3：面向前沿智能体智能的一项新挑战
ARC Prize 发布 ARC-AGI-3：数百个回合制环境，没有规则也没有目标。人类得分 100%，前沿 AI 得分 0.51%。