行业与实践 · 研究与基准测试

最新优先最早优先

我们自己跑的基准，和对公开数据的核对。结论附带方法与局限。

查看全部

研究与基准测试2026-09-218 分钟
混合执行成功率 91.04%：阿里用 134 道座舱任务评语音智能体
134 例座舱任务里，混合执行成功率 91.04%，直接调工具 72.39%，全部委托 80.60%。都做成功的回合上，总体时延 4.729 秒，相对这两档低 26.73% 和 30.91%。短任务和多步并不是都最快。
研究与基准测试2026-09-208 分钟
500 条模拟工单：腾讯云 ADP 把判断模型和通用模型拆开比
腾讯云 ADP 用 500 条模拟客服工单对比 Jev 和通用模型：意图准确率 88.2% 对 93.2%，空响应 5.6% 对 0，500 条成本 0.0103 美元对估算的约 2.45 美元。
研究与基准测试2026-09-208 分钟
29 项平均分涨超 25%，时价按两分钟的 30 倍估算：Qwen3.8-Omni-Flash
Qwen3.8-Omni-Flash 的 29 项平均分比 Qwen3.5-Omni-Plus 提高超过 25%。OmniVideoBench 上准确率 63.4 到 67.8，token 从 145736 降到 79117。时价降幅按两分钟成本的 30 倍估算，不是准确率。
研究与基准测试2026-09-207 分钟
一周线上观看时长涨 0.96%，公开集只有 7583 个物品：百度怎么测统一检索排序
KuaiRand-Pure 上 HR@10 从 0.0511 到 0.0575。手机百度一周全量对照里，总观看时长 +0.96%，总分发量 +1.08%。线上只给相对涨幅，没有绝对基线。
研究与基准测试2026-09-188 分钟
评测集不是聊天记录：华为云 AgentArts 要求先对齐评估器
华为云 AgentArts 把评测集当成考卷：至少 30 到 50 条，正向、边界、对抗、安全大约按 50%、20%、20%、10% 配置。防幻觉必须单列 context，actual_output 不能提前写进试卷。
研究与基准测试2026-09-188 分钟
问「最新」并不等于只留最新：腾讯云把明确年份和模糊时间拆开
腾讯云时效性检索按知识有效时间处理召回。明确年份会过滤；「最新」在生效逻辑里是加权排序，历史文档仍可能回来。页面没有召回率。AgenticRAGSearch 不用开开关，注意事项又写关闭则整条逻辑不生效。
研究与基准测试2026-09-176 分钟
轨迹质量写在仅在线，注意又允许离线选：华为云预置评估器按场景分档
华为云 AgentArts 预置评估器按离线、在线和两者都支持分档。代码判定按次计费，模型判定按 Token 计费。表 2 把轨迹质量写成仅在线，注意又说智能体运行时和第三方托管可以在离线任务里选。
研究与基准测试2026-09-168 分钟
RAG 上线前要单独防幻觉：华为云把 context 和标准答案拆开
华为云 AgentArts 的 RAG 评估要求先发布智能体，评测集初始 30 到 50 条，并用 context 判断是不是瞎编、用 reference_output 判断对不对。字段映射错了，整次评估作废。
研究与基准测试2026-09-1610 分钟
测试集宏平均 F1 为 0.615：阿里参与的基准用淘宝行为核验消费价值
5440 段淘宝购买过程，测试集 544 段由专家从零标注。B2V-Verifier 宏平均 F1 0.615，基线最高是 GPT-5 的 0.417。引言写的大约 34% 没有落到表上的某一格。
研究与基准测试2026-09-156 分钟
只看正确性会放过过程错误：华为云把评估器分成三类
华为云 AgentArts 预置 50 多个评估器。只拿正确性满分不能上线：订票答对却没调 API、事实对但风格不合、回答正确却带偏见，都要靠结果、调用链和体验三类评估器互相制约。
研究与基准测试2026-09-158 分钟
约束还在也会越权 9.33%：腾讯朱雀用 1800 条轨迹测失控
腾讯朱雀实验室的 FORGE-BENCH 把失控定义成越权动作真的改了外部状态。1800 条轨迹里，约束被拿掉且危险动作可执行时，全因子格是 55.00%，跨域高风险格是 62%。只给危险动作、约束还在，全因子里仍有 9.33%。把约束写回压缩摘要，对照是 0%。
研究与基准测试2026-09-146 分钟
先洗出一百到两百张工单：腾讯云 ADP 把 FDE 验收落在回归评测上
腾讯云 ADP 建议 FDE 用 100 到 200 条真实工单做黄金测试集，回归上下文召回率、回答真实度和业务切题度。认证考试 70 分是考试线，不是 Agent 准确率。
研究与基准测试2026-09-148 分钟
长视频 85.1% 大约 5.1 万 token：百度按问题现查，不先建全片索引
百度 VideoXAgent 在 Video-MME-Long 上 85.1%，52 帧、约 51k 上下文。MINERVA 公开集 1357 题上，纯文本调度 GLM-5.2 到 65.4%，Claude-Opus-4.6 到 65.7%，上下文 33.7k 和 37.1k。37.1k 约是 1024 帧对照 262.1k 的 14%。
研究与基准测试2026-09-145 分钟
五档分必须写理由：华为云 Rubric 评估器可以不传准则
华为云 AgentArts 的 Rubric 评估器只输出 0.0、0.25、0.5、0.75、1.0。input 和 actual_output 必填，评分准则可以不传，由平台自动生成。理由必须写出各维度分数和综合分怎么算。页面没有给四档重要程度的通用权重。
研究与基准测试2026-09-118 分钟
一句话要拆成四件事：腾讯云 ADP 的酒店 Agent 只公开了两项线上数字
腾讯云 ADP 用华住会、尚美数智和美住美宿说明酒店 Agent 怎么测到能上线：一句话拆成四个并发任务，首 Token 5 秒内，常见客需准确率 95% 以上。调价缺数据时必须人工复核。
研究与基准测试2026-09-1011 分钟
评测集守住已知：美团把 Agent 评测拆成四块和两条闭环
美团图灵 Agent 评测把体系写成四模块、三种能力和两条 Loop。离线回测守已知，在线 AB、影子和巡检发现未知。文中的 68%、95% 是商家经营分析例子，不是公布的线上成绩。
研究与基准测试2026-09-098 分钟
咨询 17 万次，办结只有 230 笔：腾讯云 ADP 的政企案例把两口径分开了
腾讯云 ADP 用邯郸公积金、宝安小宝和广西汇小二说明政企智能体不能只看回答准确率。年报把咨询 17 余万次和办结 230 余笔分开写。单笔从 15 分钟到 3 分钟。这些数不是对照实验。
研究与基准测试2026-09-099 分钟
跨设备依赖一断就归零：百度参与的 JarvisGUI 用终态评 GUI
150 道组合题，最好的整题成功是 HOLO2 的 12/150（8.0%）。多设备有依赖的整题成功率最高 2.0%，六行里四行是 0。换规划器到 Kimi K2.6，这一格仍是 2.0。
研究与基准测试2026-09-088 分钟
几何平均快 1.55 倍，但短行采样会输：腾讯怎么测精确 Top-K
腾讯 HPC-Ops 在 Hy4-Preview 的 FP32 索引分数上测精确 Top-K，K=2048。20 个形状都通过集合合同，相对最快外部精确实现几何平均 1.55 倍。245K 轨迹 1.36 倍，430K 为 1.48 倍。16K 和 24K 行上精确提议全胜，采样不是默认都该开。
研究与基准测试2026-09-079 分钟
同一套 API 下四项公开集最低：阿里评 Qwen-Audio-3.0-ASR
B 栏里 FLEURS 中英和 LibriSpeech 两项最低，AISHELL 与 WeNetSpeech 不是。16 种方言宏平均 CER 9.40%。400 毫秒流式的中文 CER 9.24%，非流式 8.03%。