Not translated yet — showing the Chinese originals.
Industry & Practice · Tagged “华为云”
Research & Benchmarks//7 min
华为云 AgentArts 的模型优化把模型换进智能体环境，用规则精确匹配或大模型裁判打分，再按 GRPO 做组内对比。客服例子里「故障报修」算高分，多一句解释就算低分。页面写明奖励规则设计不当会奖励作弊。
Research & Benchmarks//9 min
华为云 AgentArts 把 Skill 拆成加载和释放，不单建 Skill Span。四条指标里，成功率同时写成 call.count 减 error.count，以及 status 为 True 的次数除以总次数。指标 60 秒上报一次，Prometheus 的 increase() 会把次数显示成小数。
Research & Benchmarks//6 min
华为云 AgentArts 的在线评估只吃 API 调用产生的 Trace，控制台调试不会触发。离线可以评正在跑的智能体，也可以不跑智能体、只评已有数据。每个用户免费 10 个评估任务，每个任务最多 5 个评估器。
Research & Benchmarks//6 min
华为云 ModelArts《预置评测集说明》更新于 2026-09-22，列出 14 个评测集。有题量的是 GPQA_Diamond 448、C-Eval 52 科、GSM8K 8.5K、BBH 204 项、FinEval 超过 26000。页面没有模型得分。
Research & Benchmarks//8 min
华为云 AgentArts 把评测集当成考卷：至少 30 到 50 条，正向、边界、对抗、安全大约按 50%、20%、20%、10% 配置。防幻觉必须单列 context，actual_output 不能提前写进试卷。
Research & Benchmarks//6 min
华为云 AgentArts 预置评估器按离线、在线和两者都支持分档。代码判定按次计费，模型判定按 Token 计费。表 2 把轨迹质量写成仅在线，注意又说智能体运行时和第三方托管可以在离线任务里选。
Research & Benchmarks//8 min
华为云 AgentArts 的 RAG 评估要求先发布智能体，评测集初始 30 到 50 条，并用 context 判断是不是瞎编、用 reference_output 判断对不对。字段映射错了，整次评估作废。
Research & Benchmarks//6 min
华为云 AgentArts 预置 50 多个评估器。只拿正确性满分不能上线：订票答对却没调 API、事实对但风格不合、回答正确却带偏见，都要靠结果、调用链和体验三类评估器互相制约。
Research & Benchmarks//5 min
华为云 AgentArts 的 Rubric 评估器只输出 0.0、0.25、0.5、0.75、1.0。input 和 actual_output 必填，评分准则可以不传，由平台自动生成。理由必须写出各维度分数和综合分怎么算。页面没有给四档重要程度的通用权重。
Research & Benchmarks//6 min
华为云 AgentArts 把 RAG 优化收成评估、分析、改文档或配置、再回归。每个场景至少 30 到 50 条。没有 context，幻觉和引用相关性评估器不能工作。回归必须用同一评测集和同一评估器。页面没有给出优化前后的分数。
Research & Benchmarks//7 min
华为云 AgentArts 用评测集、40 多个评估器和评估任务替换 5 到 10 条手测。流程是 30 到 50 条基线、低分下钻、按病因改提示词或工具、同一评测集回归。裁判打分并非 100% 完美，允许改分作真值。
