行业与实践

最新优先最早优先

研究与基准测试2026-08-0510 分钟
说得清楚不等于查得对：腾讯 RepoProbe 用清单给仓库问答打分
500 道 GitHub Discussions 改写题，10 分清单。GPT-5.2 总分 62.7%，完美求解率最高的 Claude Opus 4.6 也只有 27.5%。清晰分一律高于知识分。
研究与基准测试2026-08-056 分钟
同一套卷子才算回归：华为云把 RAG 优化收成闭环
华为云 AgentArts 把 RAG 优化收成评估、分析、改文档或配置、再回归。每个场景至少 30 到 50 条。没有 context，幻觉和引用相关性评估器不能工作。回归必须用同一评测集和同一评估器。页面没有给出优化前后的分数。
研究与基准测试2026-08-048 分钟
影子评测精度从 92.0% 到 97.5%，把行为写成文本反而掉到 83.0%：微信支付怎么测序列模型
三个月影子评测里 SeqLLM 周平均精度 97.5%，只文本的对照是 92.0%。把行为直接串成文本掉到 83.0%，这一版没有上线。欺诈检测只给了百分点，没有绝对值。
研究与基准测试2026-08-037 分钟
Qwen3.8-Max：从编码到协作，Agent 走向长程交付
Qwen 官方发布 Qwen3.8-Max，展示模型在多日自主编码、论文复现改进和真实竞赛中的长程交付能力，并强调模型、环境与 Harness 的协同扩展。
研究与基准测试2026-08-029 分钟
打断回应率 0.88，并行工具调用没超过纯文本：京东 JoyAI-Talker 的全双工评测
打断场景 C_RESPOND 0.88，附和时误触发 0.01。语音工具调用只有 ACEBench 单工具到 98.56，并行项 44.32，低于纯文本的 61.36。没有线上成交。
研究与基准测试2026-08-015 分钟
HSCodeComp：复杂层级规则，才是深度搜索 Agent 的硬考场
阿里巴巴团队公开的 HSCodeComp 把深度搜索 Agent 放进跨境贸易商品编码场景：不是找到一段相关文本就算完成，而是要从真实商品信息和多层关税规则中推导出准确的十位 HS Code。
研究与基准测试2026-07-318 分钟
审核通过率 95%，转人工降到 20%：腾讯云 ADP 零售助手只给了两家的线上数
腾讯云 ADP 把零售助手的评估拆成规模、效率、质量、转人工、内容生产和运营效果。乳品案例自述审核通过率 95%、效率提升 300%；TP-Link 上线一周转人工率 20%、出图率 70%。两家都没有对照基线。
研究与基准测试2026-07-319 分钟
平均只比老师高 0.4：蚂蚁 MAGA 用动作结构蒸馏评跨端 GUI
8B 平均成功率 51.2，比三个域老师的平均 50.9 高 0.4，TNS 99.9。MobileWorld 仍低 3.4。2B 的 TNS 只有 77.1。WebVoyager 只用 140 题。
研究与基准测试2026-07-3111 分钟
最好的配置只有人类净资产的 27.3%：阿里 MerchantBench 用 365 天订单评长程一致
48 次运行，每次 365 个模拟日。Hermes 上 Qwen3.7-Max 的终局净资产 59.46 千元，人类是 217.61。这格的变异系数 55.1%。SWR 最高的模型行并不是净资产最高的行。
研究与基准测试2026-07-306 分钟
内部基准没给分数：阿里云 Qoder 只用四维比较专家模式
阿里云写了 Qoder Experts Mode 的组长编排和一次内部复杂任务基准：质量更高、成本更低，但没有总分和样本量。代码搜索 F-Score 提高 21%，浏览器省 60% Token，评审榜称 Top 2。
研究与基准测试2026-07-298 分钟
告警能报，静默入侵和收尾计划不行：阿里 SecRespond 评失陷后的响应
10 个隔离云主机快照，280 个检查点。最强的 Claude Opus 4.7 检测和计划平均只有 72.4%，而且没有任何模型在任何一个靶场上同时做完检测和处置。
研究与基准测试2026-07-279 分钟
留出集关键字段 F1 为 85.42%：字节用单条流量生成 REST 断言
229 条没见过的接口上，关键字段 F1 85.42%（精确率 81.30%，召回 96.15%）。线上采用率在全量上线前是 74.1%，12 月稳定在 96% 以上。图注末段却写成 97.2%，开头还有 86.1%。
研究与基准测试2026-07-269 分钟
三次都改对才算稳：腾讯 E-Bench 用数据库差异评多步工具
323 道合成任务，三次尝试，没有部分分。Kimi-K3 的 Avg@3 是 73.79%，但三次都成功只有 58.82%。加上代码执行后 Opus-4.8 升到第一，最好的三次全过仍是 68.66%。
研究与基准测试2026-07-249 分钟
任务做对了，测试仍可能没覆盖：阿里云用义务清单卡 Cloud Skill 发布
157 个开发中的 Cloud Skill，补测前的充分性中位数 91.3%，仍有 36.3% 不到强制的 80%。132 份报告写出 639 条没测到的义务。80% 是发布政策，不是运行正确。
研究与基准测试2026-07-239 分钟
Coding Agent 上线前先要能被量：阿里云 Pilot 用轨迹回答四件事
阿里云 2026-07-23 开源 LoongSuite Pilot。它不改 Agent，把本机 Coding Agent 收成统一轨迹，用来定义完成率、Token 效率和自修复，并做安全审计。三工具对比只是同一次补单测，没有重复实验。
研究与基准测试2026-07-2311 分钟
四块分数不能加总：腾讯 WorkBuddy Bench 把编码 Agent 拆成四套尺子
80、70、50、60 题，两套 harness，每格三次 think mode。报告明确不报套件总分。Claude Opus 4.8 拿下五列第一，GLM-5.2 拿下两列安全，GPT-5.5 只在 Claude Code 的 Office 上最高，86.05。
研究与基准测试2026-07-228 分钟
8B 动态规则高于 235B 静态规则：微信用它替换搜索回答
DR-Generator-8B 六项准确率都高于 Qwen3-32B 零样本动态规则。用它监督的 8B 策略，开放题四项高于 70B 奖励模型和 235B 静态规则。微信搜索已全量替换，绝对指标未公开。
研究与基准测试2026-07-217 分钟
HR@1000 从 0.7735 到 0.8651，线上 GMV 涨 1.64%：淘宝搜索怎么测生成式检索
相对 FORGE，HR@1000 从 0.7735 到 0.8651，差 9.16 个百分点。强化学习那一行 HR@5000 更高，但没有上线。线上 1% 流量、38 天，GMV +1.64%，没有绝对值。
研究与基准测试2026-07-209 分钟
AgentLoop：先记下轨迹，再谈 Agent 评测和优化
阿里云 AgentLoop 把企业级 Agent 的优化写成观测、轨迹分析、评测、回测和持续优化五环。在线评测没有标准答案，实验评测用标注集打分，低分样本回流基线集。
研究与基准测试2026-07-205 分钟
多数场景可用率到了 90%，对照模型的分数没写出来：Seed Audio 1.0 的主观评测
字节 Seed Audio 1.0 把人声、音效和环境声放在同一框架里生成。多数场景可用率到 90% 以上，自然度多数语言 MOS 超过 4，但 AB 对照的模型名和差值没有进正文。