行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-08-169 分钟
固定微调把 IFEval 打掉 7.7 分：淘宝直播用四套尺子看模型能不能跟着 Harness 改
978 条真实直播间上，HAT 平均分 94.8，基座 80.3。固定 Harness 微调把 IFE-P 从 81.5 打到 73.8。线上七天 GMV 人均 +5.54%，没有置信区间。
研究与基准测试2026-08-149 分钟
能跑通还不够：腾讯云 ADP 用五件事判断 Agent 能不能进生产
腾讯云 ADP 从 DeepSeek Harness 的插件、动态装载和会话日志，整理进生产前的治理检查。文末五条是成功率稳定、失败可恢复、调用可审计、权限清楚、成本延迟可接受。没有给出阈值。
研究与基准测试2026-08-136 分钟
八篇里只有三处在讲评测：美团的 KDD 2026 论文速览
美团技术团队汇总 8 篇 KDD 2026 论文。和 Agent 评测直接有关的是 CDRRM 的三千条样本、LocalSearchBench 的 900 道多跳题，以及 DataAgents 赛题的异构数据包。没有配套准确率。
研究与基准测试2026-08-1310 分钟
做得多不等于验得上：阿里云 ATOBench 把证据链从结果里拆出来
450 个回合、225 对。直接证明的 grounded verification 从 44.0% 到 0%，五个模型全是 0。归属从 45.3% 到 40.0%，凭据从 84.0% 到 58.7%。动作变多没有把证明找回来。
研究与基准测试2026-08-138 分钟
问答最高 86.46%，改图代码只有 0.51–2.98：百度用 TikZ 测科学图
百度 Diagram-MMU 用 3.7k 张科学图、18.3k 道题测十二个模型。问答最高 86.46%，被改部分的 CrystalBLEU 只有 0.51 到 2.98。Agent 小集上多数模型改图上升、问答下降，三件事都涨的只有 Claude-4.6 Opus。
研究与基准测试2026-08-1211 分钟
描述不可信：阿里云用三天把 UGC 游戏 Agent 收成可回归
阿里云 AgentLoop 在 UGC 游戏 Agent 上用 3 天走完观测、分层评估、根因和回归。事实层按正确项除以正确加错误项打分，一条样本 16 项里 9 项错。回写后的新分数没有公布。
研究与基准测试2026-08-129 分钟
总分会把「本来就会」算成遵守：字节 Harness-IF 把规则和默认行为拆开
字节 Seed 的 Harness-IF 按单条规则打分。12 个模型的总分都高于「和默认行为相反」的那一档，平均高出 5.81 分。86.8% 的判定经过 GPT-5.2 裁判，换裁判后一致率只有 62.1%。
研究与基准测试2026-08-128 分钟
最高 58.30%，没有模型到 60%：蚂蚁参与的 VideoGAIA 把视频理解做成多轮工具任务
蚂蚁集团参与的 VideoGAIA 用 271 道人工复核题，把视频理解改成最多 40 步的工具循环。20 个模型里最高是 Seed2.0-Pro 的 58.30%，没有一家到 60%。搜索占调用的 60.5%–90.6%，但 GPT-5.5 只调用 262 次仍高于打了 2557 次的 Gemini-3.1-Pro。
研究与基准测试2026-08-118 分钟
同一模型 SEM-F1 从 11.57% 到 25.10%：阿里把代码评审的自由探索收成三道门
阿里 OpenCodeReview 在 AACR-Bench 的 200 个 PR、1505 条专家评论上，六个底座的 SEM-F1 是 17.90% 到 25.10%。同一 Claude-4.6-Opus 在 Claude Code 上只有 11.57%。召回多数行更低。相对 Claude Code 的 Token 大约少 5 到 15 倍，相对 Codex 只有约 1.24 倍。
研究与基准测试2026-08-109 分钟
售后 Agent 差的不是回答：腾讯云 ADP 把准确率从约 60% 收到 93% 以上
腾讯云 ADP 用医疗器械售后项目记录企业级 Agent 怎么测到能上线：86 万份知识、相似型号元数据过滤、多路召回与拒答、badcase 三天闭环。自述准确率从约 60% 到一轮上线约 83%，调优后 93% 以上。
研究与基准测试2026-08-068 分钟
绿了也不算过：阿里云用 Qoder 让 Computer Use 自己验证到能过夜
Qoder 是阿里的 AI 编码桌面产品。Computer Use 每次构建必须用同一证书签名，Goal Mode 循环到通过或需要人决策。验证分单测、自建测试应用和评测集三层。原文写了连续数百小时，但没有公开图表上的分数。
研究与基准测试2026-08-0610 分钟
看得见局部、拼不起全局：字节 GST-Bench 测视频里的全局空间
22 个 VLM 的零样本最高分是 Gemini-3-Pro 的 42.68，人类在每个子任务 20 个样本上是 79.08。目标在查询视角里不可见。Qwen3-VL-8B 经 GST-Train 微调后到 53.52，仍补不上人类。
研究与基准测试2026-08-066 分钟
见过任务平均 92.0，空间泛化仍低于 π0.5：京东怎么测机器人操作
真机见过任务平均分 92.0，对照 π0.5 是 74.0。没见过平均 75.5，但空间和拓扑这一维对照略高，分数没写。桌面子集和视频加量的分数不能和 92.0 排成一条曲线。
研究与基准测试2026-08-058 分钟
RCA Benchmark：阿里云把根因分析变成可复现的 Agent 评测
阿里云联合多家机构开源 RCA Benchmark，用生产化微服务环境、四层结构化真值和三维加权评分，评估 Agent 是否真正定位分布式系统根因。
研究与基准测试2026-08-0510 分钟
说得清楚不等于查得对：腾讯 RepoProbe 用清单给仓库问答打分
500 道 GitHub Discussions 改写题，10 分清单。GPT-5.2 总分 62.7%，完美求解率最高的 Claude Opus 4.6 也只有 27.5%。清晰分一律高于知识分。
研究与基准测试2026-08-056 分钟
同一套卷子才算回归：华为云把 RAG 优化收成闭环
华为云 AgentArts 把 RAG 优化收成评估、分析、改文档或配置、再回归。每个场景至少 30 到 50 条。没有 context，幻觉和引用相关性评估器不能工作。回归必须用同一评测集和同一评估器。页面没有给出优化前后的分数。
研究与基准测试2026-08-048 分钟
影子评测精度从 92.0% 到 97.5%，把行为写成文本反而掉到 83.0%：微信支付怎么测序列模型
三个月影子评测里 SeqLLM 周平均精度 97.5%，只文本的对照是 92.0%。把行为直接串成文本掉到 83.0%，这一版没有上线。欺诈检测只给了百分点，没有绝对值。
研究与基准测试2026-08-037 分钟
Qwen3.8-Max：从编码到协作，Agent 走向长程交付
Qwen 官方发布 Qwen3.8-Max，展示模型在多日自主编码、论文复现改进和真实竞赛中的长程交付能力，并强调模型、环境与 Harness 的协同扩展。
研究与基准测试2026-08-029 分钟
打断回应率 0.88，并行工具调用没超过纯文本：京东 JoyAI-Talker 的全双工评测
打断场景 C_RESPOND 0.88，附和时误触发 0.01。语音工具调用只有 ACEBench 单工具到 98.56，并行项 44.32，低于纯文本的 61.36。没有线上成交。
研究与基准测试2026-08-015 分钟
HSCodeComp：复杂层级规则，才是深度搜索 Agent 的硬考场
阿里巴巴团队公开的 HSCodeComp 把深度搜索 Agent 放进跨境贸易商品编码场景：不是找到一段相关文本就算完成，而是要从真实商品信息和多层关税规则中推导出准确的十位 HS Code。