Not translated yet — showing the Chinese originals.

Industry & Practice · Tagged “评测”

Newest firstOldest first

RSS

Newest firstOldest first

Show everything

Research & Benchmarks2026-08-068 min
绿了也不算过：阿里云用 Qoder 让 Computer Use 自己验证到能过夜
Qoder 是阿里的 AI 编码桌面产品。Computer Use 每次构建必须用同一证书签名，Goal Mode 循环到通过或需要人决策。验证分单测、自建测试应用和评测集三层。原文写了连续数百小时，但没有公开图表上的分数。
Research & Benchmarks2026-08-0610 min
看得见局部、拼不起全局：字节 GST-Bench 测视频里的全局空间
22 个 VLM 的零样本最高分是 Gemini-3-Pro 的 42.68，人类在每个子任务 20 个样本上是 79.08。目标在查询视角里不可见。Qwen3-VL-8B 经 GST-Train 微调后到 53.52，仍补不上人类。
Research & Benchmarks2026-08-066 min
见过任务平均 92.0，空间泛化仍低于 π0.5：京东怎么测机器人操作
真机见过任务平均分 92.0，对照 π0.5 是 74.0。没见过平均 75.5，但空间和拓扑这一维对照略高，分数没写。桌面子集和视频加量的分数不能和 92.0 排成一条曲线。
Research & Benchmarks2026-08-058 min
RCA Benchmark：阿里云把根因分析变成可复现的 Agent 评测
阿里云联合多家机构开源 RCA Benchmark，用生产化微服务环境、四层结构化真值和三维加权评分，评估 Agent 是否真正定位分布式系统根因。
Research & Benchmarks2026-08-0510 min
说得清楚不等于查得对：腾讯 RepoProbe 用清单给仓库问答打分
500 道 GitHub Discussions 改写题，10 分清单。GPT-5.2 总分 62.7%，完美求解率最高的 Claude Opus 4.6 也只有 27.5%。清晰分一律高于知识分。
Research & Benchmarks2026-08-048 min
影子评测精度从 92.0% 到 97.5%，把行为写成文本反而掉到 83.0%：微信支付怎么测序列模型
三个月影子评测里 SeqLLM 周平均精度 97.5%，只文本的对照是 92.0%。把行为直接串成文本掉到 83.0%，这一版没有上线。欺诈检测只给了百分点，没有绝对值。
Research & Benchmarks2026-08-037 min
Qwen3.8-Max：从编码到协作，Agent 走向长程交付
Qwen 官方发布 Qwen3.8-Max，展示模型在多日自主编码、论文复现改进和真实竞赛中的长程交付能力，并强调模型、环境与 Harness 的协同扩展。
Research & Benchmarks2026-08-029 min
打断回应率 0.88，并行工具调用没超过纯文本：京东 JoyAI-Talker 的全双工评测
打断场景 C_RESPOND 0.88，附和时误触发 0.01。语音工具调用只有 ACEBench 单工具到 98.56，并行项 44.32，低于纯文本的 61.36。没有线上成交。
Research & Benchmarks2026-08-015 min
HSCodeComp：复杂层级规则，才是深度搜索 Agent 的硬考场
阿里巴巴团队公开的 HSCodeComp 把深度搜索 Agent 放进跨境贸易商品编码场景：不是找到一段相关文本就算完成，而是要从真实商品信息和多层关税规则中推导出准确的十位 HS Code。
Research & Benchmarks2026-07-319 min
平均只比老师高 0.4：蚂蚁 MAGA 用动作结构蒸馏评跨端 GUI
8B 平均成功率 51.2，比三个域老师的平均 50.9 高 0.4，TNS 99.9。MobileWorld 仍低 3.4。2B 的 TNS 只有 77.1。WebVoyager 只用 140 题。
Research & Benchmarks2026-07-3111 min
最好的配置只有人类净资产的 27.3%：阿里 MerchantBench 用 365 天订单评长程一致
48 次运行，每次 365 个模拟日。Hermes 上 Qwen3.7-Max 的终局净资产 59.46 千元，人类是 217.61。这格的变异系数 55.1%。SWR 最高的模型行并不是净资产最高的行。
Research & Benchmarks2026-07-298 min
告警能报，静默入侵和收尾计划不行：阿里 SecRespond 评失陷后的响应
10 个隔离云主机快照，280 个检查点。最强的 Claude Opus 4.7 检测和计划平均只有 72.4%，而且没有任何模型在任何一个靶场上同时做完检测和处置。
Research & Benchmarks2026-07-279 min
留出集关键字段 F1 为 85.42%：字节用单条流量生成 REST 断言
229 条没见过的接口上，关键字段 F1 85.42%（精确率 81.30%，召回 96.15%）。线上采用率在全量上线前是 74.1%，12 月稳定在 96% 以上。图注末段却写成 97.2%，开头还有 86.1%。
Research & Benchmarks2026-07-269 min
三次都改对才算稳：腾讯 E-Bench 用数据库差异评多步工具
323 道合成任务，三次尝试，没有部分分。Kimi-K3 的 Avg@3 是 73.79%，但三次都成功只有 58.82%。加上代码执行后 Opus-4.8 升到第一，最好的三次全过仍是 68.66%。
Research & Benchmarks2026-07-249 min
任务做对了，测试仍可能没覆盖：阿里云用义务清单卡 Cloud Skill 发布
157 个开发中的 Cloud Skill，补测前的充分性中位数 91.3%，仍有 36.3% 不到强制的 80%。132 份报告写出 639 条没测到的义务。80% 是发布政策，不是运行正确。
Research & Benchmarks2026-07-2311 min
四块分数不能加总：腾讯 WorkBuddy Bench 把编码 Agent 拆成四套尺子
80、70、50、60 题，两套 harness，每格三次 think mode。报告明确不报套件总分。Claude Opus 4.8 拿下五列第一，GLM-5.2 拿下两列安全，GPT-5.5 只在 Claude Code 的 Office 上最高，86.05。
Research & Benchmarks2026-07-228 min
8B 动态规则高于 235B 静态规则：微信用它替换搜索回答
DR-Generator-8B 六项准确率都高于 Qwen3-32B 零样本动态规则。用它监督的 8B 策略，开放题四项高于 70B 奖励模型和 235B 静态规则。微信搜索已全量替换，绝对指标未公开。
Research & Benchmarks2026-07-217 min
HR@1000 从 0.7735 到 0.8651，线上 GMV 涨 1.64%：淘宝搜索怎么测生成式检索
相对 FORGE，HR@1000 从 0.7735 到 0.8651，差 9.16 个百分点。强化学习那一行 HR@5000 更高，但没有上线。线上 1% 流量、38 天，GMV +1.64%，没有绝对值。
Research & Benchmarks2026-07-209 min
AgentLoop：先记下轨迹，再谈 Agent 评测和优化
阿里云 AgentLoop 把企业级 Agent 的优化写成观测、轨迹分析、评测、回测和持续优化五环。在线评测没有标准答案，实验评测用标注集打分，低分样本回流基线集。
Research & Benchmarks2026-07-175 min
PinchBench：百度 AI 搜索如何公开一套端到端 Agent 评测流程
百度 AI 搜索团队公开的 PinchBench-Evaluation 仓库，展示了 Orion-Mission-Mode 在真实工作任务上的评测流程：原始输入直接注入系统，Agent 自主调度工具并交付文件或报告，再由脚本检查与 LLM 评审共同打分。