行业与实践 · 标签「Agent」

最新优先最早优先

查看全部

研究与基准测试2026-08-129 分钟
总分会把「本来就会」算成遵守：字节 Harness-IF 把规则和默认行为拆开
字节 Seed 的 Harness-IF 按单条规则打分。12 个模型的总分都高于「和默认行为相反」的那一档，平均高出 5.81 分。86.8% 的判定经过 GPT-5.2 裁判，换裁判后一致率只有 62.1%。
研究与基准测试2026-08-109 分钟
售后 Agent 差的不是回答：腾讯云 ADP 把准确率从约 60% 收到 93% 以上
腾讯云 ADP 用医疗器械售后项目记录企业级 Agent 怎么测到能上线：86 万份知识、相似型号元数据过滤、多路召回与拒答、badcase 三天闭环。自述准确率从约 60% 到一轮上线约 83%，调优后 93% 以上。
研究与基准测试2026-08-068 分钟
绿了也不算过：阿里云用 Qoder 让 Computer Use 自己验证到能过夜
Qoder 是阿里的 AI 编码桌面产品。Computer Use 每次构建必须用同一证书签名，Goal Mode 循环到通过或需要人决策。验证分单测、自建测试应用和评测集三层。原文写了连续数百小时，但没有公开图表上的分数。
研究与基准测试2026-08-0510 分钟
说得清楚不等于查得对：腾讯 RepoProbe 用清单给仓库问答打分
500 道 GitHub Discussions 改写题，10 分清单。GPT-5.2 总分 62.7%，完美求解率最高的 Claude Opus 4.6 也只有 27.5%。清晰分一律高于知识分。
研究与基准测试2026-08-037 分钟
Qwen3.8-Max：从编码到协作，Agent 走向长程交付
Qwen 官方发布 Qwen3.8-Max，展示模型在多日自主编码、论文复现改进和真实竞赛中的长程交付能力，并强调模型、环境与 Harness 的协同扩展。
研究与基准测试2026-08-015 分钟
HSCodeComp：复杂层级规则，才是深度搜索 Agent 的硬考场
阿里巴巴团队公开的 HSCodeComp 把深度搜索 Agent 放进跨境贸易商品编码场景：不是找到一段相关文本就算完成，而是要从真实商品信息和多层关税规则中推导出准确的十位 HS Code。
研究与基准测试2026-07-318 分钟
审核通过率 95%，转人工降到 20%：腾讯云 ADP 零售助手只给了两家的线上数
腾讯云 ADP 把零售助手的评估拆成规模、效率、质量、转人工、内容生产和运营效果。乳品案例自述审核通过率 95%、效率提升 300%；TP-Link 上线一周转人工率 20%、出图率 70%。两家都没有对照基线。
研究与基准测试2026-07-319 分钟
平均只比老师高 0.4：蚂蚁 MAGA 用动作结构蒸馏评跨端 GUI
8B 平均成功率 51.2，比三个域老师的平均 50.9 高 0.4，TNS 99.9。MobileWorld 仍低 3.4。2B 的 TNS 只有 77.1。WebVoyager 只用 140 题。
研究与基准测试2026-07-3111 分钟
最好的配置只有人类净资产的 27.3%：阿里 MerchantBench 用 365 天订单评长程一致
48 次运行，每次 365 个模拟日。Hermes 上 Qwen3.7-Max 的终局净资产 59.46 千元，人类是 217.61。这格的变异系数 55.1%。SWR 最高的模型行并不是净资产最高的行。
研究与基准测试2026-07-298 分钟
告警能报，静默入侵和收尾计划不行：阿里 SecRespond 评失陷后的响应
10 个隔离云主机快照，280 个检查点。最强的 Claude Opus 4.7 检测和计划平均只有 72.4%，而且没有任何模型在任何一个靶场上同时做完检测和处置。
研究与基准测试2026-07-269 分钟
三次都改对才算稳：腾讯 E-Bench 用数据库差异评多步工具
323 道合成任务，三次尝试，没有部分分。Kimi-K3 的 Avg@3 是 73.79%，但三次都成功只有 58.82%。加上代码执行后 Opus-4.8 升到第一，最好的三次全过仍是 68.66%。
研究与基准测试2026-07-249 分钟
任务做对了，测试仍可能没覆盖：阿里云用义务清单卡 Cloud Skill 发布
157 个开发中的 Cloud Skill，补测前的充分性中位数 91.3%，仍有 36.3% 不到强制的 80%。132 份报告写出 639 条没测到的义务。80% 是发布政策，不是运行正确。
研究与基准测试2026-07-2311 分钟
四块分数不能加总：腾讯 WorkBuddy Bench 把编码 Agent 拆成四套尺子
80、70、50、60 题，两套 harness，每格三次 think mode。报告明确不报套件总分。Claude Opus 4.8 拿下五列第一，GLM-5.2 拿下两列安全，GPT-5.5 只在 Claude Code 的 Office 上最高，86.05。
研究与基准测试2026-07-175 分钟
PinchBench：百度 AI 搜索如何公开一套端到端 Agent 评测流程
百度 AI 搜索团队公开的 PinchBench-Evaluation 仓库，展示了 Orion-Mission-Mode 在真实工作任务上的评测流程：原始输入直接注入系统，Agent 自主调度工具并交付文件或报告，再由脚本检查与 LLM 评审共同打分。
研究与基准测试2026-07-1412 分钟
38 项里 19 项第一：腾讯 Hy-Embodied 按感知—动作环评具身 Agent
可比规模里总平均 65.6，比 Qwen3.6-A3B 高 4.4，比上一代 MoT-2B 高 8.4。A30B 不进排名。Where2Place 只有 65.0，PartAfford 63.7 低于 Embodied-R1.5 的 82.6。导航 OS 排第二。
研究与基准测试2026-07-099 分钟
满分档平均只有 3.2%：腾讯混元参与的长程终端基准用子任务给部分分
46 题、17 个模型。0.95 阈值上 Grok 4.5 为 28.3%（13/46），模型平均 6.4%；满分阈值平均 3.2%。782 次运行里 491 次有部分分。未解原因的分母却写成 660。
研究与基准测试2026-07-0810 分钟
满分要对上芯片上限：华为 CANN Bench 评 Agent 写的昇腾算子
53 个算子、1060 条公开用例，另有每算子 80 条隐藏用例还没放出。编译、算对、速度的权重是 0.2、0.3、0.5。全部算对但只跑到基线，是 75 分。这篇没有模型排行。
研究与基准测试2026-07-078 分钟
EdgeBench：Agent 如何从真实环境中学习
字节 Seed 用 134 个日级任务和约 3.8 万小时交互，评测 Agent 在真实反馈中随时间改善的能力；总体表现呈对数 S 形，学习速度约每三个月翻倍。