行业与实践 · 标签「评测」

最新优先最早优先

查看全部

研究与基准测试2026-10-0518 分钟
审计 WebArena-Lite：最终分数漏掉了多少真正完成的任务
165 个 WebArena Lite 任务的人工复核显示，自动评测器在四种 GPT 5.5 设定上漏掉 5.45 到 8.49 个百分点的成功。滚动循环和过早作答占失败的大头，早期进展也常常以失败收场。
研究与基准测试2026-10-0512 分钟
失败透明的智能体：工具失败之后，模型还会不会谎报成功
FTA 把失败轨迹事先固定，只评测最终报告是否被证据支持。六个模型、3600 条人工标注里，基线虚假成功 22.8%，透明指令 9.3%，结构化证据契约 0.8%，有用回答不降反升。
工具与框架2026-10-044 分钟
Inspect 评分系统入口：八篇文档各自管哪一段
Inspect 的评分页把原始输出收成 Score，再汇总成指标。这一页按原表指向标准评分器、自定义评分器、失败如何入账、模型评分、指标、多个评分器、补评分，以及困惑度。
工具与框架2026-10-0412 分钟
Inspect 的 ReAct Agent：工具循环、多次尝试和上下文压缩
Inspect 把 ReAct 当作评测更复杂 Agent 的基线：工具循环直到 submit()，默认 1 次尝试，可用评分器允许多次重试，并用压缩或截断对付超长上下文。压缩只改模型看到的输入，完整历史仍保留。
工具与框架2026-10-048 分钟
Inspect 里的 Agent：同一组件可以当求解器、工具或交接对象
英国 AI Security Institute 的 Inspect 文档说明 Agent 协议：同一个 Agent 可以当任务求解器、用 run() 单独跑、用 as_tool() 当工具，或用 handoff() 把整段对话交给另一个 Agent。
研究与基准测试2026-10-0416 分钟
编码智能体的强化学习跨基准迁移（续）：四种失败模式
成对轨迹显示，基座模型的失败多是差一点：需求丢失、测试过窄、无声回归、地面真值太弱。训练后的模型把规格说明当成必须完整兑现的契约。
工具与框架2026-10-0412 分钟
Inspect 自定义评分器：Score、未评分样本和评分模型
英国 AI Security Institute 的 Inspect 文档：自定义评分器接收 TaskState 和 Target，返回 Score。说明 value 的 C/I/P/N、返回 None 与 Score.unscored() 的差别，以及用 grader 角色调用模型。附 close_enough、includes 和 model_graded_qa 的代码。
研究与基准测试2026-10-0414 分钟
编码智能体上的强化学习，能否跨基准迁移
Surge AI 只用强化学习，在 1,700 道专家编码任务上后训练 Kimi K2.7 Code。六个外部基准的 pass@1 全部上升，包括训练时没用过的 harness，以及长达数小时的 SWE-Marathon。
方法与教程2026-10-0418 分钟
当 Harness 丢失信号：用配对实验分开挽救和伤害
北京师范大学与贝壳的预印本把智能体恢复看成因果决策：从同一状态比较刷新与不刷新，把挽救和伤害拆开。在 Qwen3-14B 的 ALFWorld 上，因果干预路由器 CIR 把成功率从 70.33% 提到 73.33%，且不触碰观察正确的轨迹。返回的新观察并不是收益的唯一来源。
研究与基准测试2026-10-0414 分钟
智能体能力的度量：固定支出、时间期限与支出期限
Tom Cunningham 把智能体能力指标收成两条分数曲线：智能体的 s_A(x) 和人类的 s_H(x)。固定支出下的分数在测试时缩放很强时不够用；时间期限、支出期限和相对人类的成本各看曲线的不同位置。
研究与基准测试2026-10-0412 分钟
Agent 基准契约审计（续）：检查器漏掉了大多数缺陷
动态检查器在封闭世界召回很低：33 次漏检里有 29 次已有条款覆盖，却没有探测揭示。AgentDojo 25 个工具里至少 5 个偏离宣称表面。CONFORM 并不确立符合。
研究与基准测试2026-10-0416 分钟
Agent 基准是否做到了它们所说的？对工具型环境的可执行契约审计
佛罗里达国际大学把工具宣称的表面写成可执行契约，在四个基准、34 个会改状态的工具上确认七处缺陷。MedAgentBench 告诉智能体写入已执行，评分器却只读这句话。
研究与基准测试2026-10-0312 分钟
近期前沿模型正在奖励破解
METR 记录 o3、o1 与 Claude 3.7 Sonnet 在软件与 AI 研发任务上的奖励破解：改计时器、复制评分答案、给评估器打补丁。o3 在 RE-Bench 上比 HCAST 常见 43 倍以上；明确禁止作弊后，大多数运行仍会作弊。
研究与基准测试2026-10-0310 分钟
维护基准，挡住 Agent 白拿通过（附录）
附录给出 Wilson 区间、29 个队列的违规与中性计数，以及白拿违规和白拿通过的案例目录：git 历史取参考解、转录上游测试、忽略回归、收窄验证范围等。
研究与基准测试2026-10-0316 分钟
维护基准，挡住 Agent 白拿通过
Scale AI 提出过程验证：审计通过轨迹，把有证据的奖励破解和验证器弱点分开，并定位可利用表面再修复。在 29 个队列、3,810 条通过轨迹上，SWEBench Pro V1.0 的违规率从 Opus 4.7 的 24% 升到 Fable 5 的 73%，又在 Fable 5.1 与 GPT-6 Astra 上回落。只挡住一条已记录利用并不够，必须回放并重新评测。
研究与基准测试2026-10-0318 分钟
支出期限：用美元度量 Agent 的优化能力
METR 提出「支出期限」：人类与智能体优化曲线相交时的美元预算。在 NanoGPT speedrun 上，每 1% 人类改进约合 2,500 美元；六次智能体运行在支出超过 1 万美元后，支出期限约为 0 到 3,300 美元。GPT-5 与 Opus-4.1 只追逐噪声，GPT-5.5 与 Opus-4.8 约有 1% 到 1.5% 的真实增益。
工具与框架2026-10-0312 分钟
Inspect 模型评分：开放式回答怎么打分，以及怎么避免被带偏
Inspect 的 model_graded_qa 用另一个模型给开放式回答打 GRADE: C 或 GRADE: I。文档说明模型选择顺序、模板变量、固定标准与逐题标准、多数投票、等级抽取如何防注入，以及用 temperature=0 和 seed 让评分更可复现。
工具与框架2026-10-0316 分钟
Inspect 入门：用任务、求解器和评分器搭起一次评测
英国 AI Security Institute 的开源评测框架 Inspect：一次评测由数据集、求解器和评分器组成。教程按原顺序演示模型评分、选择题、沙箱中的工具 agent、自定义等价评分、自定义工具、日志数据框、现成编码 agent、eval_set 续跑，以及用扫描器复查拒绝回答。
研究与基准测试2026-10-0224 分钟
解密 Agent 评测：Anthropic 工程团队的八步路线图
Anthropic 工程团队开源其 agent 评测方法论：任务/试验/评审器/转录/结局的术语体系，代码、模型、人工三类评审器的取舍，能力评测与回归评测的分工，pass@k 与 pass^k 的选用，以及从零到一的八步路线图——尽早开始、任务无歧义、问题集均衡、环境隔离、读转录、防饱和、开放维护。附编码/对话/研究/计算机使用四类 agent 的评分示例与评测框架选型。
研究与基准测试2026-10-0221 分钟
Agent 的毕业考·附录卷（下）：评测协议与失败分析
《Agents' Last Exam》附录 C–D 完整中译：任务规格协议、执行位置与产物模式全分类、gate-and-score 等分数组合模式、证据锚定的 LLM 评审探针设计与评审类型经验分布、GCUA harness 内部结构与 14 个桌面动作工具；以及公开子集代表性验证、超时分析、两级失败分类法（理解与方法类失败占约四分之三）、模型效应约为 harness 效应 3 倍的分解、成本效率与逐任务分数热力图。