行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-08-015 分钟
HSCodeComp：复杂层级规则，才是深度搜索 Agent 的硬考场
阿里巴巴团队公开的 HSCodeComp 把深度搜索 Agent 放进跨境贸易商品编码场景：不是找到一段相关文本就算完成，而是要从真实商品信息和多层关税规则中推导出准确的十位 HS Code。
研究与基准测试2026-07-318 分钟
审核通过率 95%，转人工降到 20%：腾讯云 ADP 零售助手只给了两家的线上数
腾讯云 ADP 把零售助手的评估拆成规模、效率、质量、转人工、内容生产和运营效果。乳品案例自述审核通过率 95%、效率提升 300%；TP-Link 上线一周转人工率 20%、出图率 70%。两家都没有对照基线。
研究与基准测试2026-07-319 分钟
平均只比老师高 0.4：蚂蚁 MAGA 用动作结构蒸馏评跨端 GUI
8B 平均成功率 51.2，比三个域老师的平均 50.9 高 0.4，TNS 99.9。MobileWorld 仍低 3.4。2B 的 TNS 只有 77.1。WebVoyager 只用 140 题。
研究与基准测试2026-07-3111 分钟
最好的配置只有人类净资产的 27.3%：阿里 MerchantBench 用 365 天订单评长程一致
48 次运行，每次 365 个模拟日。Hermes 上 Qwen3.7-Max 的终局净资产 59.46 千元，人类是 217.61。这格的变异系数 55.1%。SWR 最高的模型行并不是净资产最高的行。
研究与基准测试2026-07-306 分钟
内部基准没给分数：阿里云 Qoder 只用四维比较专家模式
阿里云写了 Qoder Experts Mode 的组长编排和一次内部复杂任务基准：质量更高、成本更低，但没有总分和样本量。代码搜索 F-Score 提高 21%，浏览器省 60% Token，评审榜称 Top 2。
研究与基准测试2026-07-298 分钟
告警能报，静默入侵和收尾计划不行：阿里 SecRespond 评失陷后的响应
10 个隔离云主机快照，280 个检查点。最强的 Claude Opus 4.7 检测和计划平均只有 72.4%，而且没有任何模型在任何一个靶场上同时做完检测和处置。
研究与基准测试2026-07-279 分钟
留出集关键字段 F1 为 85.42%：字节用单条流量生成 REST 断言
229 条没见过的接口上，关键字段 F1 85.42%（精确率 81.30%，召回 96.15%）。线上采用率在全量上线前是 74.1%，12 月稳定在 96% 以上。图注末段却写成 97.2%，开头还有 86.1%。
研究与基准测试2026-07-269 分钟
三次都改对才算稳：腾讯 E-Bench 用数据库差异评多步工具
323 道合成任务，三次尝试，没有部分分。Kimi-K3 的 Avg@3 是 73.79%，但三次都成功只有 58.82%。加上代码执行后 Opus-4.8 升到第一，最好的三次全过仍是 68.66%。
研究与基准测试2026-07-249 分钟
任务做对了，测试仍可能没覆盖：阿里云用义务清单卡 Cloud Skill 发布
157 个开发中的 Cloud Skill，补测前的充分性中位数 91.3%，仍有 36.3% 不到强制的 80%。132 份报告写出 639 条没测到的义务。80% 是发布政策，不是运行正确。
研究与基准测试2026-07-239 分钟
Coding Agent 上线前先要能被量：阿里云 Pilot 用轨迹回答四件事
阿里云 2026-07-23 开源 LoongSuite Pilot。它不改 Agent，把本机 Coding Agent 收成统一轨迹，用来定义完成率、Token 效率和自修复，并做安全审计。三工具对比只是同一次补单测，没有重复实验。
研究与基准测试2026-07-2311 分钟
四块分数不能加总：腾讯 WorkBuddy Bench 把编码 Agent 拆成四套尺子
80、70、50、60 题，两套 harness，每格三次 think mode。报告明确不报套件总分。Claude Opus 4.8 拿下五列第一，GLM-5.2 拿下两列安全，GPT-5.5 只在 Claude Code 的 Office 上最高，86.05。
研究与基准测试2026-07-228 分钟
8B 动态规则高于 235B 静态规则：微信用它替换搜索回答
DR-Generator-8B 六项准确率都高于 Qwen3-32B 零样本动态规则。用它监督的 8B 策略，开放题四项高于 70B 奖励模型和 235B 静态规则。微信搜索已全量替换，绝对指标未公开。
研究与基准测试2026-07-217 分钟
HR@1000 从 0.7735 到 0.8651，线上 GMV 涨 1.64%：淘宝搜索怎么测生成式检索
相对 FORGE，HR@1000 从 0.7735 到 0.8651，差 9.16 个百分点。强化学习那一行 HR@5000 更高，但没有上线。线上 1% 流量、38 天，GMV +1.64%，没有绝对值。
研究与基准测试2026-07-209 分钟
AgentLoop：先记下轨迹，再谈 Agent 评测和优化
阿里云 AgentLoop 把企业级 Agent 的优化写成观测、轨迹分析、评测、回测和持续优化五环。在线评测没有标准答案，实验评测用标注集打分，低分样本回流基线集。
研究与基准测试2026-07-205 分钟
多数场景可用率到了 90%，对照模型的分数没写出来：Seed Audio 1.0 的主观评测
字节 Seed Audio 1.0 把人声、音效和环境声放在同一框架里生成。多数场景可用率到 90% 以上，自然度多数语言 MOS 超过 4，但 AB 对照的模型名和差值没有进正文。
研究与基准测试2026-07-175 分钟
PinchBench：百度 AI 搜索如何公开一套端到端 Agent 评测流程
百度 AI 搜索团队公开的 PinchBench-Evaluation 仓库，展示了 Orion-Mission-Mode 在真实工作任务上的评测流程：原始输入直接注入系统，Agent 自主调度工具并交付文件或报告，再由脚本检查与 LLM 评审共同打分。
研究与基准测试2026-07-179 分钟
Agent = Model + Harness：腾讯云 ADP 的云端智能体工程实践
腾讯云 ADP 团队拆解 Agent 从 Demo 走向生产的工程抽象：把 Agent Loop、Memory、Sandbox、Tools 与可观测解耦，用最小权限、沙箱隔离、轨迹记录和评估反馈闭环支撑长任务稳定运行。
研究与基准测试2026-07-177 分钟
留存升了 3.85%，工具错误降了 61.5%：Qwen-Coder-Qoder 的线上数就这些
Qwen-Coder-Qoder 在自建 Qoder Bench 上超过 Cursor Composer-1，Windows 终端命令准确率最多提高 50%。线上几周代码留存升 3.85%，工具错误降 61.5%，Token 降 14.5%。没有绝对分和样本量。
研究与基准测试2026-07-167 分钟
从抽样聊天到可回归：华为云 AgentArts 的智能体评估方法
华为云 AgentArts 用评测集、40 多个评估器和评估任务替换 5 到 10 条手测。流程是 30 到 50 条基线、低分下钻、按病因改提示词或工具、同一评测集回归。裁判打分并非 100% 完美，允许改分作真值。
研究与基准测试2026-07-1610 分钟
人均 Token 会骗人：阿里云用八段看板看组织有没有真用上
阿里云 2026-07-16 用 Pilot 和 SLS 把 AI Coding 收成八段组织看板。DORA 的 39% ROI 是引用的模型数。看板截图写明是模拟数据。前 10% 超过 70% Token 只是判断线。