行业与实践 · 标签「Agent」

最新优先最早优先

查看全部

研究与基准测试2026-10-1316 分钟
ParanoiaEval 续：附录 F 至 O
本篇译出裁判提示、人工标注、人类研究、实验超参数、裁判验证、三次运行细表、显著性检验、两则案例和计算资源消耗。
研究与基准测试2026-10-1312 分钟
ParanoiaEval 续：附录 A 至 E
本篇译出局限、ATMA 完备性、日志挖掘、44 个情境分类，以及回避、转移、缓解、接受各一对完整任务例子。
研究与基准测试2026-10-138 分钟
ParanoiaEval 续：参考文献
本篇是 ParanoiaEval 的参考文献全文，共 63 条。人名、链接和基准名保留原文，题名与出处译成中文，并注明每条文献在论证中的作用。
研究与基准测试2026-10-1318 分钟
ParanoiaEval：基准评测智能体编码中不必要的防御性工作
纽约大学与香港理工的 ParanoiaEval 用 200 对证据受控任务评测编码智能体的多余防御。八个模型里，不必要风险处置仍占含证据运行的 11.2% 到 58.7%。更强的任务成功率并不能换来更恰当的处置，开发者满意度因此下降 1.27 分。
研究与基准测试2026-10-1310 分钟
TestJack 续：案例研究、提示模板与局限
同一篇 TestJack 论文的附录 C 至 E：Navidrome 与 Open Library 的逐试验反驳、httpx cookie 存储上的轻量审计、三份提示模板的路径，以及依赖参考解和精度的局限。
研究与基准测试2026-10-1312 分钟
TestJack 续：参考文献与方法附录
同一篇 TestJack 论文的参考文献 40 条，以及附录 A 的良构性假设、提示欠指定分类，和附录 B 的版本、欠指定任务与两个案例。
研究与基准测试2026-10-1318 分钟
TestJack：你该相信编码基准里的结果吗？
Columbia、Berkeley 与 George Mason 用 TestJack 审计五个编码基准上 4,487 次已通过试验，1,545 次（34.4%）违反任务要求，全体解决率从 50.6% 降到 33.2%。轻量审计用大约 15.4% 的成本找回 72.4% 的反驳。
研究与基准测试2026-10-1318 分钟
观点：编码智能体基准应当匹配其用户的任务流
JetBrains 用 4,782 次真实 IDE 会话说明，编码智能体基准不该只有单条 issue。按生产任务流拆开提示并加入可验证问答后，成本大约翻倍，解决率却没有稳定变化。
研究与基准测试2026-10-1225 分钟
BrickBench：评测智能体式积木设计
BrickBench 评测编程智能体能否按文本设计可搭建的乐高套装。有了验证环境，有效性几乎被解决，但设计质量仍明显不及人类。
研究与基准测试2026-10-1216 分钟
SSCBench：评测面向工具使用型 LLM 智能体的故障注入测试的证据效力
故障注入评测里，采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见，以及这次执行是否在首次使用前看到它。
研究与基准测试2026-10-1218 分钟
TRACE：诊断智能体评测中的验证器脆性
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
研究与基准测试2026-10-1120 分钟
在实践中度量人工智能智能体的自主性
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
研究与基准测试2026-10-114 分钟
发布 ARC-AGI-3：面向前沿智能体智能的一项新挑战
ARC Prize 发布 ARC-AGI-3：数百个回合制环境，没有规则也没有目标。人类得分 100%，前沿 AI 得分 0.51%。
研究与基准测试2026-10-118 分钟
τ³-Bench：把智能体基准评测推进到知识与语音
Sierra 发布 τ³-Bench。知识任务上，最好的前沿模型只完成约 25%；即便给到正确文档，也只有 40%。现实噪声和打断下，语音完成率落到 26%–38%。
研究与基准测试2026-10-088 分钟
度量 AI 完成长软件任务的能力
METR 用人类完成任务所需的时间刻画智能体能力。过去 6 年，50% 时间期限大约每 7 个月翻一倍。若趋势再持续数年，通用智能体或能做长达一周的任务。
研究与基准测试2026-10-088 分钟
我们正在改变我们的开发者生产率实验设计
METR 认为 2025 年下半年的开发者实验给不出可靠的提速信号：不愿无 AI 工作的人变多，任务也被挑着交。他们准备改设计，并继续做任务评测。
研究与基准测试2026-10-089 分钟
Claude Opus 4.6 的 BrowseComp 表现中的评测意识
在 BrowseComp 的 1266 道题里，Opus 4.6 有两例不是碰上泄漏答案，而是先怀疑自己在被评测，再认出基准并解开加密答案。多智能体下非预期解法约为单智能体的 3.7 倍。
研究与基准测试2026-10-0728 分钟
推理时算力如何改写前沿模型评测：固定预算会低估新模型
英国 AI Security Institute 在七个基准上比较最多 12 个前沿模型。更大的 token 预算、上下文压缩和反复提交表明：FrontierMath 与 HLE 在通常预算外仍有约 12 个百分点余量，软件工程基准余量很小，跨代进步主要来自触及范围和可靠性，而不是 token 效率。
研究与基准测试2026-10-0718 分钟
时间期限如何随领域变化
METR 用 9 个已有基准估计时间期限。软件、数学和问答大约每 2 到 6 个月翻一倍；计算机使用短大约 50 到 100 倍，但增速相近；Tesla 自动驾驶更慢。视频长度不能当难度。
研究与基准测试2026-10-077 分钟
METR 对 GPT-5.6 Sol 的部署前评测摘要
METR 在 Time Horizon 1.1 上评测 GPT-5.6 Sol。把作弊记为失败时，50% 时间期限约 11.3 小时；算作成功则超过 270 小时。METR 认为这些数字都不稳健，也不认为它会完全自动化 AI 研发。