行业与实践 · 标签「评测」

最新优先最早优先

查看全部

研究与基准测试2026-08-015 分钟
HSCodeComp：复杂层级规则，才是深度搜索 Agent 的硬考场
阿里巴巴团队公开的 HSCodeComp 把深度搜索 Agent 放进跨境贸易商品编码场景：不是找到一段相关文本就算完成，而是要从真实商品信息和多层关税规则中推导出准确的十位 HS Code。
研究与基准测试2026-07-319 分钟
平均只比老师高 0.4：蚂蚁 MAGA 用动作结构蒸馏评跨端 GUI
8B 平均成功率 51.2，比三个域老师的平均 50.9 高 0.4，TNS 99.9。MobileWorld 仍低 3.4。2B 的 TNS 只有 77.1。WebVoyager 只用 140 题。
研究与基准测试2026-07-3111 分钟
最好的配置只有人类净资产的 27.3%：阿里 MerchantBench 用 365 天订单评长程一致
48 次运行，每次 365 个模拟日。Hermes 上 Qwen3.7-Max 的终局净资产 59.46 千元，人类是 217.61。这格的变异系数 55.1%。SWR 最高的模型行并不是净资产最高的行。
研究与基准测试2026-07-298 分钟
告警能报，静默入侵和收尾计划不行：阿里 SecRespond 评失陷后的响应
10 个隔离云主机快照，280 个检查点。最强的 Claude Opus 4.7 检测和计划平均只有 72.4%，而且没有任何模型在任何一个靶场上同时做完检测和处置。
研究与基准测试2026-07-279 分钟
留出集关键字段 F1 为 85.42%：字节用单条流量生成 REST 断言
229 条没见过的接口上，关键字段 F1 85.42%（精确率 81.30%，召回 96.15%）。线上采用率在全量上线前是 74.1%，12 月稳定在 96% 以上。图注末段却写成 97.2%，开头还有 86.1%。
研究与基准测试2026-07-269 分钟
三次都改对才算稳：腾讯 E-Bench 用数据库差异评多步工具
323 道合成任务，三次尝试，没有部分分。Kimi-K3 的 Avg@3 是 73.79%，但三次都成功只有 58.82%。加上代码执行后 Opus-4.8 升到第一，最好的三次全过仍是 68.66%。
研究与基准测试2026-07-249 分钟
任务做对了，测试仍可能没覆盖：阿里云用义务清单卡 Cloud Skill 发布
157 个开发中的 Cloud Skill，补测前的充分性中位数 91.3%，仍有 36.3% 不到强制的 80%。132 份报告写出 639 条没测到的义务。80% 是发布政策，不是运行正确。
研究与基准测试2026-07-2311 分钟
四块分数不能加总：腾讯 WorkBuddy Bench 把编码 Agent 拆成四套尺子
80、70、50、60 题，两套 harness，每格三次 think mode。报告明确不报套件总分。Claude Opus 4.8 拿下五列第一，GLM-5.2 拿下两列安全，GPT-5.5 只在 Claude Code 的 Office 上最高，86.05。
研究与基准测试2026-07-228 分钟
8B 动态规则高于 235B 静态规则：微信用它替换搜索回答
DR-Generator-8B 六项准确率都高于 Qwen3-32B 零样本动态规则。用它监督的 8B 策略，开放题四项高于 70B 奖励模型和 235B 静态规则。微信搜索已全量替换，绝对指标未公开。
研究与基准测试2026-07-217 分钟
HR@1000 从 0.7735 到 0.8651，线上 GMV 涨 1.64%：淘宝搜索怎么测生成式检索
相对 FORGE，HR@1000 从 0.7735 到 0.8651，差 9.16 个百分点。强化学习那一行 HR@5000 更高，但没有上线。线上 1% 流量、38 天，GMV +1.64%，没有绝对值。
研究与基准测试2026-07-209 分钟
AgentLoop：先记下轨迹，再谈 Agent 评测和优化
阿里云 AgentLoop 把企业级 Agent 的优化写成观测、轨迹分析、评测、回测和持续优化五环。在线评测没有标准答案，实验评测用标注集打分，低分样本回流基线集。
研究与基准测试2026-07-175 分钟
PinchBench：百度 AI 搜索如何公开一套端到端 Agent 评测流程
百度 AI 搜索团队公开的 PinchBench-Evaluation 仓库，展示了 Orion-Mission-Mode 在真实工作任务上的评测流程：原始输入直接注入系统，Agent 自主调度工具并交付文件或报告，再由脚本检查与 LLM 评审共同打分。
研究与基准测试2026-07-168 分钟
有 Skill 平均高 10.31 个点：蚂蚁用 18 道仓库任务评支付集成
装上 alipay-payment-integration 后，六个模型的平均规则通过率高 10.31 个百分点，108 格里 101 格为正。静态检查可以到 92.79%，集成仍可能只有 38.6%。
研究与基准测试2026-07-169 分钟
4 步视频 VBench 84.33：混元把前向强化学习接到 MeanFlow
腾讯混元在 SD3.5-M 上用 4 步采样，少步 8 项里 6 项最好。Aesthetic 5.9275 低于 RTDMD 的 6.1290。Wan2.1 上 4 步 VBench 84.33，高于 50 步 LongCat-Video RL 的 82.57。Semantic 77.68 低于 SC-DMD 的 77.77。
研究与基准测试2026-07-1412 分钟
38 项里 19 项第一：腾讯 Hy-Embodied 按感知—动作环评具身 Agent
可比规模里总平均 65.6，比 Qwen3.6-A3B 高 4.4，比上一代 MoT-2B 高 8.4。A30B 不进排名。Where2Place 只有 65.0，PartAfford 63.7 低于 Embodied-R1.5 的 82.6。导航 OS 排第二。
研究与基准测试2026-07-139 分钟
1% 流量 GMV 高 1.06%：淘宝把成交排序写进生成式 DocID
3 亿商品上，CRID 站内转化 HR@20 比最强对照高 3.72 个百分点，HR@1000 高 9.10 个百分点。1% 流量、30 天：IPV +0.18%，订单 +0.54%，GMV +1.06%。站内深位 HR@1000 相对最强向量检索低 3.02%。
研究与基准测试2026-07-099 分钟
满分档平均只有 3.2%：腾讯混元参与的长程终端基准用子任务给部分分
46 题、17 个模型。0.95 阈值上 Grok 4.5 为 28.3%（13/46），模型平均 6.4%；满分阈值平均 3.2%。782 次运行里 491 次有部分分。未解原因的分母却写成 660。
研究与基准测试2026-07-0810 分钟
满分要对上芯片上限：华为 CANN Bench 评 Agent 写的昇腾算子
53 个算子、1060 条公开用例，另有每算子 80 条隐藏用例还没放出。编译、算对、速度的权重是 0.2、0.3、0.5。全部算对但只跑到基线，是 75 分。这篇没有模型排行。
研究与基准测试2026-07-069 分钟
56 条能核对的尺子：通义用 Qwen-Image-Bench 评复杂文生图
通义实验室的 Qwen-Image-Bench 用 56 条可核验规则、五根能力柱和 1000 条中英提示词评文生图。Q-Judger 基于 Qwen3.6-27B，和专家判断的 Spearman 相关是 0.92，但没有给出专家人数。
研究与基准测试2026-07-0110 分钟
轨迹比答案难评：阿里云把 Agent 评测拆成步骤、路径和结果
阿里云 AgentLoop 把企业 Agent 飞轮写成采集轨迹、自动建 Golden 和 BadCase、再用 Agent 做评测。文中给出 55 个字段、84% 覆盖率和三层评分，并标明哪些数字来自外部论文。