研究与基准测试/2026-10-05/18 分钟审计 WebArena-Lite:最终分数漏掉了多少真正完成的任务165 个 WebArena Lite 任务的人工复核显示,自动评测器在四种 GPT 5.5 设定上漏掉 5.45 到 8.49 个百分点的成功。滚动循环和过早作答占失败的大头,早期进展也常常以失败收场。
研究与基准测试/2026-09-30/6 分钟OpenAI Cookbook:用轨迹、评测和 Codex 把 Agent 改进转起来Wesley Pasfield 在 2026 年 5 月的笔记本里搭了一条闭环:真实轨迹、人工和模型反馈、Promptfoo 评测、HALO 排序,再交给 Codex 改支架。评论先过,再考虑自动合并。
研究与基准测试/2026-07-01/10 分钟轨迹比答案难评:阿里云把 Agent 评测拆成步骤、路径和结果阿里云 AgentLoop 把企业 Agent 飞轮写成采集轨迹、自动建 Golden 和 BadCase、再用 Agent 做评测。文中给出 55 个字段、84% 覆盖率和三层评分,并标明哪些数字来自外部论文。