行业与实践

最新优先最早优先

方法与教程2026-10-0418 分钟
当 Harness 丢失信号：用配对实验分开挽救和伤害
北京师范大学与贝壳的预印本把智能体恢复看成因果决策：从同一状态比较刷新与不刷新，把挽救和伤害拆开。在 Qwen3-14B 的 ALFWorld 上，因果干预路由器 CIR 把成功率从 70.33% 提到 73.33%，且不触碰观察正确的轨迹。返回的新观察并不是收益的唯一来源。
研究与基准测试2026-10-0414 分钟
智能体能力的度量：固定支出、时间期限与支出期限
Tom Cunningham 把智能体能力指标收成两条分数曲线：智能体的 s_A(x) 和人类的 s_H(x)。固定支出下的分数在测试时缩放很强时不够用；时间期限、支出期限和相对人类的成本各看曲线的不同位置。
研究与基准测试2026-10-0412 分钟
Agent 基准契约审计（续）：检查器漏掉了大多数缺陷
动态检查器在封闭世界召回很低：33 次漏检里有 29 次已有条款覆盖，却没有探测揭示。AgentDojo 25 个工具里至少 5 个偏离宣称表面。CONFORM 并不确立符合。
研究与基准测试2026-10-0416 分钟
Agent 基准是否做到了它们所说的？对工具型环境的可执行契约审计
佛罗里达国际大学把工具宣称的表面写成可执行契约，在四个基准、34 个会改状态的工具上确认七处缺陷。MedAgentBench 告诉智能体写入已执行，评分器却只读这句话。
方法与教程2026-10-0412 分钟
人机 Agent 团队课：从单人助手到多人协作
Anthropic 公开课把 Agent 从单人聊天改成多人协作：四条原则、上线前五问、前两周清单，以及技能、子 Agent 和 MCP 三条开发课怎么接上。
研究与基准测试2026-10-0312 分钟
近期前沿模型正在奖励破解
METR 记录 o3、o1 与 Claude 3.7 Sonnet 在软件与 AI 研发任务上的奖励破解：改计时器、复制评分答案、给评估器打补丁。o3 在 RE-Bench 上比 HCAST 常见 43 倍以上；明确禁止作弊后，大多数运行仍会作弊。
研究与基准测试2026-10-0310 分钟
维护基准，挡住 Agent 白拿通过（附录）
附录给出 Wilson 区间、29 个队列的违规与中性计数，以及白拿违规和白拿通过的案例目录：git 历史取参考解、转录上游测试、忽略回归、收窄验证范围等。
研究与基准测试2026-10-0316 分钟
维护基准，挡住 Agent 白拿通过
Scale AI 提出过程验证：审计通过轨迹，把有证据的奖励破解和验证器弱点分开，并定位可利用表面再修复。在 29 个队列、3,810 条通过轨迹上，SWEBench Pro V1.0 的违规率从 Opus 4.7 的 24% 升到 Fable 5 的 73%，又在 Fable 5.1 与 GPT-6 Astra 上回落。只挡住一条已记录利用并不够，必须回放并重新评测。
研究与基准测试2026-10-0318 分钟
支出期限：用美元度量 Agent 的优化能力
METR 提出「支出期限」：人类与智能体优化曲线相交时的美元预算。在 NanoGPT speedrun 上，每 1% 人类改进约合 2,500 美元；六次智能体运行在支出超过 1 万美元后，支出期限约为 0 到 3,300 美元。GPT-5 与 Opus-4.1 只追逐噪声，GPT-5.5 与 Opus-4.8 约有 1% 到 1.5% 的真实增益。
工具与框架2026-10-0312 分钟
Inspect 模型评分：开放式回答怎么打分，以及怎么避免被带偏
Inspect 的 model_graded_qa 用另一个模型给开放式回答打 GRADE: C 或 GRADE: I。文档说明模型选择顺序、模板变量、固定标准与逐题标准、多数投票、等级抽取如何防注入，以及用 temperature=0 和 seed 让评分更可复现。
工具与框架2026-10-0316 分钟
Inspect 入门：用任务、求解器和评分器搭起一次评测
英国 AI Security Institute 的开源评测框架 Inspect：一次评测由数据集、求解器和评分器组成。教程按原顺序演示模型评分、选择题、沙箱中的工具 agent、自定义等价评分、自定义工具、日志数据框、现成编码 agent、eval_set 续跑，以及用扫描器复查拒绝回答。
研究与基准测试2026-10-0224 分钟
解密 Agent 评测：Anthropic 工程团队的八步路线图
Anthropic 工程团队开源其 agent 评测方法论：任务/试验/评审器/转录/结局的术语体系，代码、模型、人工三类评审器的取舍，能力评测与回归评测的分工，pass@k 与 pass^k 的选用，以及从零到一的八步路线图——尽早开始、任务无歧义、问题集均衡、环境隔离、读转录、防饱和、开放维护。附编码/对话/研究/计算机使用四类 agent 的评分示例与评测框架选型。
研究与基准测试2026-10-0221 分钟
Agent 的毕业考·附录卷（下）：评测协议与失败分析
《Agents' Last Exam》附录 C–D 完整中译：任务规格协议、执行位置与产物模式全分类、gate-and-score 等分数组合模式、证据锚定的 LLM 评审探针设计与评审类型经验分布、GCUA harness 内部结构与 14 个桌面动作工具；以及公开子集代表性验证、超时分析、两级失败分类法（理解与方法类失败占约四分之三）、模型效应约为 harness 效应 3 倍的分解、成本效率与逐任务分数热力图。
研究与基准测试2026-10-0214 分钟
Agent 的毕业考·附录卷（上）：ALE 构建细节与任务卡片
《Agents' Last Exam》参考文献与附录 A–B 完整中译：SOC/O*NET 分类法推导、制造与工业运营/生物分子结构与设计/3D 动画与交互媒体/机器人与自主系统等六大行业版图综述、五道关卡任务构建流水线，以及制造 G-code、音频转写、色键合成、游戏骨骼动画、放射影像五个代表性任务卡片。
研究与基准测试2026-10-0218 分钟
Agent 的毕业考：ALE 用 1490 个真实行业任务度量经济价值工作
UC Berkeley 联合 250 多位行业专家推出 Agents' Last Exam（ALE）：55 个子领域、13 个行业集群、1490 个来自专家真实交付项目的任务实例，全部用确定性脚本自动验证。最强配置 Codex+GPT-5.5 总体通过率仅 24%，最难的末考层大面积挂零——基准成功与 GDP 相关影响之间的鸿沟，第一次被完整量化。本卷为正文，参考文献与附录见下两卷。
研究与基准测试2026-10-0224 分钟
Agent 可靠性科学·附录卷（下）：实验细节与完整结果
《普林斯顿提出 Agent 可靠性科学》附录 F–G 中译：τ-bench 与 GAIA 基准的详细描述、agent 实现、提示词扰动/故障注入/环境扰动/置信度估计/安全评测五个协议，以及连接真实失败案例、跨时间趋势、一致性与可预测性完整结果等扩展图表。
研究与基准测试2026-10-0233 分钟
Agent 可靠性科学·附录卷（上）：扩展建议、局限、指标细节与研究议程
《普林斯顿提出 Agent 可靠性科学》附录 A–E 中译：四条建议的展开、五类局限与两个异议的回应、十二个指标的直觉示例、航空/核电/汽车等安全关键领域的可靠性实践对照，以及覆盖长程可靠性、多 agent、在线监控等八个方向的研究议程。
研究与基准测试2026-10-0225 分钟
普林斯顿提出 Agent 可靠性科学：12 个指标证明能力提升带不来可靠
普林斯顿团队把安全关键工程的可靠性理念引入 AI agent 评测：一致性、鲁棒性、可预测性、安全四个维度共 12 个指标，在 τ-bench 与 GAIA 上测了 15 个模型。结论是 24 个月的能力飞跃只带来微小的可靠性改进——准确率大涨的模型依旧多次运行不一致、对提示词改写脆弱、常常不知道自己何时会失败。本卷为正文（含参考文献），附录见下两卷。
研究与基准测试2026-09-3028 分钟
GDPval：在真实、有经济价值的任务上评测 AI 模型
OpenAI 用 44 种职业、1,320 道真实任务比较模型与专家。金标准子集上 Claude Opus 4.1 有 47.6% 的交付物优于或同样好于人类；自动评分器与人类一致率 65.7%，人类互评为 70.8%。
研究与基准测试2026-09-3016 分钟
UserProxyBench：用户模拟器会改写智能体基准结果
把智能体固定为 GPT-5.5、只换用户代理，375 道企业任务的平均奖励变动 15.2 分。成功回合里 24.4% 违反用户合同，主因是过早披露；它几乎不改变奖励，却让智能体平均少做 1.06 次工具调用。