行业与实践 · 标签「Agent」

最新优先最早优先

查看全部

研究与基准测试2026-10-0718 分钟
时间期限如何随领域变化
METR 用 9 个已有基准估计时间期限。软件、数学和问答大约每 2 到 6 个月翻一倍；计算机使用短大约 50 到 100 倍，但增速相近；Tesla 自动驾驶更慢。视频长度不能当难度。
研究与基准测试2026-10-077 分钟
METR 对 GPT-5.6 Sol 的部署前评测摘要
METR 在 Time Horizon 1.1 上评测 GPT-5.6 Sol。把作弊记为失败时，50% 时间期限约 11.3 小时；算作成功则超过 270 小时。METR 认为这些数字都不稳健，也不认为它会完全自动化 AI 研发。
研究与基准测试2026-10-076 分钟
METR 对 Claude Opus 5.5 的部署前评测摘要
METR 在 10 个工作日的 API 访问里，用五项长程任务初步评测 Claude Opus 5.5。结论是：相对 Fable 5.1 只有适度增量，不太可能完全自动化 AI 研发；模型开发本身至少被 AI 加速了一些，但不太可能已被大幅加速。
研究与基准测试2026-10-0610 分钟
设计抗 AI 的技术评测：带回家测试如何被模型追上
Anthropic 的性能工程带回家测试从 2024 年用到现在。同样时限下，Claude Opus 4 超过大多数人类，Opus 4.5 追上顶尖候选人。他们改成更偏离分布的谜题，并公开旧题。
研究与基准测试2026-10-067 分钟
量化智能体编码评测中的基础设施噪声
Anthropic 在 Terminal-Bench 2.0 上比较六档资源。严格限额的基础设施错误率 5.8%，三倍余量降到 2.1% 且分数仍在噪声内；完全不设上限则把成功率抬高 6 个百分点。
研究与基准测试2026-10-068 分钟
时间期限 1.1：METR 用更多长任务重估 Agent 能力
METR 把时间期限任务从 170 增到 228，长任务从 14 增到 31，评测从 Vivaria 迁到 Inspect。混合趋势的翻倍时间仍是 196 天；2023 年以来则从 165 天收到 131 天。
研究与基准测试2026-10-0516 分钟
带证书的选择性自动评测（续）：证明、审计与成本
续篇给出名次不变性证明、合成有效性网格、真实语料上的聚类基线、样本外审计、全部 GRPO 臂、语料与提示、CertHarvest 协议，以及复核小时的成本核算。
研究与基准测试2026-10-0522 分钟
带证书的选择性自动评测：任务聚类会让独立同分布证书失真
智能体轨迹按任务成团，独立同分布的选择性证书会把自动化说得过高。任务级自助法 TaskBoot 在合成与真实语料上都守住错误预算，一个 40 亿参数评判器在工具使用和网页上分别证明约三成到六成评测可以自动接管。
研究与基准测试2026-10-0518 分钟
审计 WebArena-Lite：最终分数漏掉了多少真正完成的任务
165 个 WebArena Lite 任务的人工复核显示，自动评测器在四种 GPT 5.5 设定上漏掉 5.45 到 8.49 个百分点的成功。滚动循环和过早作答占失败的大头，早期进展也常常以失败收场。
研究与基准测试2026-10-0512 分钟
失败透明的智能体：工具失败之后，模型还会不会谎报成功
FTA 把失败轨迹事先固定，只评测最终报告是否被证据支持。六个模型、3600 条人工标注里，基线虚假成功 22.8%，透明指令 9.3%，结构化证据契约 0.8%，有用回答不降反升。
工具与框架2026-10-0412 分钟
Inspect 的 ReAct Agent：工具循环、多次尝试和上下文压缩
Inspect 把 ReAct 当作评测更复杂 Agent 的基线：工具循环直到 submit()，默认 1 次尝试，可用评分器允许多次重试，并用压缩或截断对付超长上下文。压缩只改模型看到的输入，完整历史仍保留。
工具与框架2026-10-048 分钟
Inspect 里的 Agent：同一组件可以当求解器、工具或交接对象
英国 AI Security Institute 的 Inspect 文档说明 Agent 协议：同一个 Agent 可以当任务求解器、用 run() 单独跑、用 as_tool() 当工具，或用 handoff() 把整段对话交给另一个 Agent。
研究与基准测试2026-10-0416 分钟
编码智能体的强化学习跨基准迁移（续）：四种失败模式
成对轨迹显示，基座模型的失败多是差一点：需求丢失、测试过窄、无声回归、地面真值太弱。训练后的模型把规格说明当成必须完整兑现的契约。
研究与基准测试2026-10-0414 分钟
编码智能体上的强化学习，能否跨基准迁移
Surge AI 只用强化学习，在 1,700 道专家编码任务上后训练 Kimi K2.7 Code。六个外部基准的 pass@1 全部上升，包括训练时没用过的 harness，以及长达数小时的 SWE-Marathon。
研究与基准测试2026-10-0414 分钟
智能体能力的度量：固定支出、时间期限与支出期限
Tom Cunningham 把智能体能力指标收成两条分数曲线：智能体的 s_A(x) 和人类的 s_H(x)。固定支出下的分数在测试时缩放很强时不够用；时间期限、支出期限和相对人类的成本各看曲线的不同位置。
研究与基准测试2026-10-0412 分钟
Agent 基准契约审计（续）：检查器漏掉了大多数缺陷
动态检查器在封闭世界召回很低：33 次漏检里有 29 次已有条款覆盖，却没有探测揭示。AgentDojo 25 个工具里至少 5 个偏离宣称表面。CONFORM 并不确立符合。
研究与基准测试2026-10-0416 分钟
Agent 基准是否做到了它们所说的？对工具型环境的可执行契约审计
佛罗里达国际大学把工具宣称的表面写成可执行契约，在四个基准、34 个会改状态的工具上确认七处缺陷。MedAgentBench 告诉智能体写入已执行，评分器却只读这句话。
方法与教程2026-10-0412 分钟
人机 Agent 团队课：从单人助手到多人协作
Anthropic 公开课把 Agent 从单人聊天改成多人协作：四条原则、上线前五问、前两周清单，以及技能、子 Agent 和 MCP 三条开发课怎么接上。
研究与基准测试2026-10-0312 分钟
近期前沿模型正在奖励破解
METR 记录 o3、o1 与 Claude 3.7 Sonnet 在软件与 AI 研发任务上的奖励破解：改计时器、复制评分答案、给评估器打补丁。o3 在 RE-Bench 上比 HCAST 常见 43 倍以上；明确禁止作弊后，大多数运行仍会作弊。
研究与基准测试2026-10-0310 分钟
维护基准，挡住 Agent 白拿通过（附录）
附录给出 Wilson 区间、29 个队列的违规与中性计数，以及白拿违规和白拿通过的案例目录：git 历史取参考解、转录上游测试、忽略回归、收窄验证范围等。