行业与实践

最新优先最早优先

研究与基准测试2026-09-258 分钟
未知不能当成满足：阿里用离线匹配和线上 A/B 测工业采购模型
阿里 IndustryLLM 报告把问句结构化和商品资格拆开。No-Think 下精确匹配高 2.97 个百分点，95% 区间 [2.11, 3.86]。18 天线上 A/B 的 GMV +4.25%，但模型和引擎绑在一起，拆不出检查点因果。
研究与基准测试2026-09-248 分钟
MobilePA 总分 77.05，技能项仍低于 93.25：阿里把手机规划的模型和 Harness 拆开测
27B 加 Harness 后 MobilePA 总分 77.05，技能项 86.25，低于表内 93.25。35B-A3B 的总分只有 69.91。每千条 2.41 美元不含输入和 Harness。
研究与基准测试2026-09-248 分钟
8B 平均 50.7：腾讯把搜索拆成规划和综合
腾讯 IterSynth-8B 在五个深搜索集上平均 50.7，比 MiroThinker-8B 的 46.5 高 4.2。GAIA 55.3 低于对方 66.4。xBench-2510 表内比 Miro 的 34.0 高 12.0，正文另写 +5.4%。不更新参数时，Claude 上平均 66.1，高于 ReAct 的 60.6。
研究与基准测试2026-09-237 分钟
慢思考 BFCL v3 到 78.3，τ-Bench 仍低于 o1：腾讯混元把快慢两种思考分开测
慢思考 BFCL v3 为 78.3，τ-Bench 为 54.7，低于 o1 的 60.4。快思考 BFCL v3 掉到 65.9。表 2 相对上一代低了 3 项，不是正文写的 2 项。
研究与基准测试2026-09-228 分钟
订单最多涨过 6%，业务线名字没写：美团 MTFM 的离线和在线口径
美团 MTFM 在外卖多个精排场景全量。最显著的一条业务线订单增长超过 6%，但没有业务线名字和实验窗口。推理成本降 24.0%，192 GFLOPs 是计算量不是账单。
研究与基准测试2026-09-226 分钟
金融题超过 2.6 万，GPQA 钻石只有 448：华为云预置评测集按名字给规模
华为云 ModelArts《预置评测集说明》更新于 2026-09-22，列出 14 个评测集。有题量的是 GPQA_Diamond 448、C-Eval 52 科、GSM8K 8.5K、BBH 204 项、FinEval 超过 26000。页面没有模型得分。
研究与基准测试2026-09-215 分钟
FinFIRST：金融搜索 Agent 不只要答对，还要能溯源
蚂蚁百灵团队联合北京大学与中金公司投资银行团队公开的 FinFIRST，把金融搜索 Agent 的评测重点从最终答案扩展到信息检索、引用来源和全过程可追踪性。
研究与基准测试2026-09-218 分钟
混合执行成功率 91.04%：阿里用 134 道座舱任务评语音智能体
134 例座舱任务里，混合执行成功率 91.04%，直接调工具 72.39%，全部委托 80.60%。都做成功的回合上，总体时延 4.729 秒，相对这两档低 26.73% 和 30.91%。短任务和多步并不是都最快。
研究与基准测试2026-09-208 分钟
500 条模拟工单：腾讯云 ADP 把判断模型和通用模型拆开比
腾讯云 ADP 用 500 条模拟客服工单对比 Jev 和通用模型：意图准确率 88.2% 对 93.2%，空响应 5.6% 对 0，500 条成本 0.0103 美元对估算的约 2.45 美元。
研究与基准测试2026-09-208 分钟
29 项平均分涨超 25%，时价按两分钟的 30 倍估算：Qwen3.8-Omni-Flash
Qwen3.8-Omni-Flash 的 29 项平均分比 Qwen3.5-Omni-Plus 提高超过 25%。OmniVideoBench 上准确率 63.4 到 67.8，token 从 145736 降到 79117。时价降幅按两分钟成本的 30 倍估算，不是准确率。
研究与基准测试2026-09-207 分钟
一周线上观看时长涨 0.96%，公开集只有 7583 个物品：百度怎么测统一检索排序
KuaiRand-Pure 上 HR@10 从 0.0511 到 0.0575。手机百度一周全量对照里，总观看时长 +0.96%，总分发量 +1.08%。线上只给相对涨幅，没有绝对基线。
研究与基准测试2026-09-188 分钟
评测集不是聊天记录：华为云 AgentArts 要求先对齐评估器
华为云 AgentArts 把评测集当成考卷：至少 30 到 50 条，正向、边界、对抗、安全大约按 50%、20%、20%、10% 配置。防幻觉必须单列 context，actual_output 不能提前写进试卷。
研究与基准测试2026-09-188 分钟
问「最新」并不等于只留最新：腾讯云把明确年份和模糊时间拆开
腾讯云时效性检索按知识有效时间处理召回。明确年份会过滤；「最新」在生效逻辑里是加权排序，历史文档仍可能回来。页面没有召回率。AgenticRAGSearch 不用开开关，注意事项又写关闭则整条逻辑不生效。
研究与基准测试2026-09-176 分钟
轨迹质量写在仅在线，注意又允许离线选：华为云预置评估器按场景分档
华为云 AgentArts 预置评估器按离线、在线和两者都支持分档。代码判定按次计费，模型判定按 Token 计费。表 2 把轨迹质量写成仅在线，注意又说智能体运行时和第三方托管可以在离线任务里选。
研究与基准测试2026-09-168 分钟
RAG 上线前要单独防幻觉：华为云把 context 和标准答案拆开
华为云 AgentArts 的 RAG 评估要求先发布智能体，评测集初始 30 到 50 条，并用 context 判断是不是瞎编、用 reference_output 判断对不对。字段映射错了，整次评估作废。
研究与基准测试2026-09-1610 分钟
测试集宏平均 F1 为 0.615：阿里参与的基准用淘宝行为核验消费价值
5440 段淘宝购买过程，测试集 544 段由专家从零标注。B2V-Verifier 宏平均 F1 0.615，基线最高是 GPT-5 的 0.417。引言写的大约 34% 没有落到表上的某一格。
研究与基准测试2026-09-156 分钟
只看正确性会放过过程错误：华为云把评估器分成三类
华为云 AgentArts 预置 50 多个评估器。只拿正确性满分不能上线：订票答对却没调 API、事实对但风格不合、回答正确却带偏见，都要靠结果、调用链和体验三类评估器互相制约。
研究与基准测试2026-09-158 分钟
约束还在也会越权 9.33%：腾讯朱雀用 1800 条轨迹测失控
腾讯朱雀实验室的 FORGE-BENCH 把失控定义成越权动作真的改了外部状态。1800 条轨迹里，约束被拿掉且危险动作可执行时，全因子格是 55.00%，跨域高风险格是 62%。只给危险动作、约束还在，全因子里仍有 9.33%。把约束写回压缩摘要，对照是 0%。
研究与基准测试2026-09-146 分钟
先洗出一百到两百张工单：腾讯云 ADP 把 FDE 验收落在回归评测上
腾讯云 ADP 建议 FDE 用 100 到 200 条真实工单做黄金测试集，回归上下文召回率、回答真实度和业务切题度。认证考试 70 分是考试线，不是 Agent 准确率。
研究与基准测试2026-09-148 分钟
长视频 85.1% 大约 5.1 万 token：百度按问题现查，不先建全片索引
百度 VideoXAgent 在 Video-MME-Long 上 85.1%，52 帧、约 51k 上下文。MINERVA 公开集 1357 题上，纯文本调度 GLM-5.2 到 65.4%，Claude-Opus-4.6 到 65.7%，上下文 33.7k 和 37.1k。37.1k 约是 1024 帧对照 262.1k 的 14%。