行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-10-146 分钟
AgentHorizon：评测长程计算机使用任务上的智能体评判者（续）
续篇只收录附录 B：算力与输入表示、错误类型召回、换支架，以及去掉指令、截图或动作日志后的消融。去掉指令后平衡准确率接近随机。
研究与基准测试2026-10-1422 分钟
AgentHorizon：评测长程计算机使用任务上的智能体评判者
一千三百七十三条人工录屏上的配对评测表明，最好的智能体评判者 GPT-5.5 在困难子集上平衡准确率只有 80.9%。工具使用帮了它，却让开放权重的 Qwen 直接评判更好；最难认的是已经做完、却多做了未经请求动作的副作用。
研究与基准测试2026-10-1420 分钟
GeoNatureAgent：工具型智能体上线前评测框架与基准
九个模型对着同一套十六工具的地理空间接口做上线前评测。严格评分下最好只有 61.7%，开放权重的 DeepSeek V3.2 用约十一分之一的成本拿到其中 93% 的能力，失败则主要是没调用对工具。
研究与基准测试2026-10-1418 分钟
从看似合理的层级到可用的分类体系：在客户反馈上评测智能体支架
六棵分类体系都通过了逐节点的通用检查，生成树的产品术语覆盖甚至更高。整树一看，生成叶名有 97.7% 到 100% 只是在复述祖先，其中一棵有 76.4% 的记录跨过顶层分支。
研究与基准测试2026-10-1316 分钟
ParanoiaEval 续：附录 F 至 O
本篇译出裁判提示、人工标注、人类研究、实验超参数、裁判验证、三次运行细表、显著性检验、两则案例和计算资源消耗。
研究与基准测试2026-10-1312 分钟
ParanoiaEval 续：附录 A 至 E
本篇译出局限、ATMA 完备性、日志挖掘、44 个情境分类，以及回避、转移、缓解、接受各一对完整任务例子。
研究与基准测试2026-10-138 分钟
ParanoiaEval 续：参考文献
本篇是 ParanoiaEval 的参考文献全文，共 63 条。人名、链接和基准名保留原文，题名与出处译成中文，并注明每条文献在论证中的作用。
研究与基准测试2026-10-1318 分钟
ParanoiaEval：基准评测智能体编码中不必要的防御性工作
纽约大学与香港理工的 ParanoiaEval 用 200 对证据受控任务评测编码智能体的多余防御。八个模型里，不必要风险处置仍占含证据运行的 11.2% 到 58.7%。更强的任务成功率并不能换来更恰当的处置，开发者满意度因此下降 1.27 分。
研究与基准测试2026-10-1310 分钟
TestJack 续：案例研究、提示模板与局限
同一篇 TestJack 论文的附录 C 至 E：Navidrome 与 Open Library 的逐试验反驳、httpx cookie 存储上的轻量审计、三份提示模板的路径，以及依赖参考解和精度的局限。
研究与基准测试2026-10-1312 分钟
TestJack 续：参考文献与方法附录
同一篇 TestJack 论文的参考文献 40 条，以及附录 A 的良构性假设、提示欠指定分类，和附录 B 的版本、欠指定任务与两个案例。
研究与基准测试2026-10-1318 分钟
TestJack：你该相信编码基准里的结果吗？
Columbia、Berkeley 与 George Mason 用 TestJack 审计五个编码基准上 4,487 次已通过试验，1,545 次（34.4%）违反任务要求，全体解决率从 50.6% 降到 33.2%。轻量审计用大约 15.4% 的成本找回 72.4% 的反驳。
研究与基准测试2026-10-1318 分钟
观点：编码智能体基准应当匹配其用户的任务流
JetBrains 用 4,782 次真实 IDE 会话说明，编码智能体基准不该只有单条 issue。按生产任务流拆开提示并加入可验证问答后，成本大约翻倍，解决率却没有稳定变化。
研究与基准测试2026-10-1225 分钟
BrickBench：评测智能体式积木设计
BrickBench 评测编程智能体能否按文本设计可搭建的乐高套装。有了验证环境，有效性几乎被解决，但设计质量仍明显不及人类。
研究与基准测试2026-10-1216 分钟
SSCBench：评测面向工具使用型 LLM 智能体的故障注入测试的证据效力
故障注入评测里，采纳不能直接解释成尽管已有及时反证仍依赖注入断言。SSCBench 在 τ-bench 上记录反证何时可见，以及这次执行是否在首次使用前看到它。
研究与基准测试2026-10-1212 分钟
METR 审阅自动研发风险：16 人调查撑不起“很低”，结论仍同意
METR 审阅 Anthropic 2026 年 2 月风险报告的自动研发一节。16 人内部调查的最低选项仍是低于 50%，一次缺失回答被当成否定。他们仍同意灾难风险很低，但认为报告里的证据不够。
研究与基准测试2026-10-1218 分钟
TRACE：诊断智能体评测中的验证器脆性
验证器分数的变化不一定是能力变化。TRACE 用成对变异、轨迹检查和重新评分，把工具名评分缺陷与真正的行为失败分开。
研究与基准测试2026-10-1120 分钟
在实践中度量人工智能智能体的自主性
Anthropic 用 Claude Code 和公开 API 的真实交互度量智能体自主性。最长回合从不到 25 分钟增到超过 45 分钟；经验用户更常自动批准，也更常打断。
研究与基准测试2026-10-114 分钟
发布 ARC-AGI-3：面向前沿智能体智能的一项新挑战
ARC Prize 发布 ARC-AGI-3：数百个回合制环境，没有规则也没有目标。人类得分 100%，前沿 AI 得分 0.51%。
研究与基准测试2026-10-118 分钟
τ³-Bench：把智能体基准评测推进到知识与语音
Sierra 发布 τ³-Bench。知识任务上，最好的前沿模型只完成约 25%；即便给到正确文档，也只有 40%。现实噪声和打断下，语音完成率落到 26%–38%。
研究与基准测试2026-10-1016 分钟
研究更新：算法评估与整体评估
METR 用 18 项真实开源任务对照两种评分：Claude 3.7 Sonnet 按维护者测试的成功率是 38%，15 次人工复核里没有一次能按原样合并。算法评分高估了智能体的整体可用性。