行业与实践 · 标签「华为云」

最新优先最早优先

查看全部

研究与基准测试2026-09-307 分钟
多一句废话就被判低分：华为云用 GRPO 按结果奖惩，不靠背答案
华为云 AgentArts 的模型优化把模型换进智能体环境，用规则精确匹配或大模型裁判打分，再按 GRPO 做组内对比。客服例子里「故障报修」算高分，多一句解释就算低分。页面写明奖励规则设计不当会奖励作弊。
研究与基准测试2026-09-299 分钟
成功率有两套算法：华为云把 Skill 观测拆成加载和释放
华为云 AgentArts 把 Skill 拆成加载和释放，不单建 Skill Span。四条指标里，成功率同时写成 call.count 减 error.count，以及 status 为 True 的次数除以总次数。指标 60 秒上报一次，Prometheus 的 increase() 会把次数显示成小数。
研究与基准测试2026-09-286 分钟
控制台调试不进在线评估：华为云把离线和线上拆开
华为云 AgentArts 的在线评估只吃 API 调用产生的 Trace，控制台调试不会触发。离线可以评正在跑的智能体，也可以不跑智能体、只评已有数据。每个用户免费 10 个评估任务，每个任务最多 5 个评估器。
研究与基准测试2026-09-226 分钟
金融题超过 2.6 万，GPQA 钻石只有 448：华为云预置评测集按名字给规模
华为云 ModelArts《预置评测集说明》更新于 2026-09-22，列出 14 个评测集。有题量的是 GPQA_Diamond 448、C-Eval 52 科、GSM8K 8.5K、BBH 204 项、FinEval 超过 26000。页面没有模型得分。
研究与基准测试2026-09-188 分钟
评测集不是聊天记录：华为云 AgentArts 要求先对齐评估器
华为云 AgentArts 把评测集当成考卷：至少 30 到 50 条，正向、边界、对抗、安全大约按 50%、20%、20%、10% 配置。防幻觉必须单列 context，actual_output 不能提前写进试卷。
研究与基准测试2026-09-176 分钟
轨迹质量写在仅在线，注意又允许离线选：华为云预置评估器按场景分档
华为云 AgentArts 预置评估器按离线、在线和两者都支持分档。代码判定按次计费，模型判定按 Token 计费。表 2 把轨迹质量写成仅在线，注意又说智能体运行时和第三方托管可以在离线任务里选。
研究与基准测试2026-09-168 分钟
RAG 上线前要单独防幻觉：华为云把 context 和标准答案拆开
华为云 AgentArts 的 RAG 评估要求先发布智能体，评测集初始 30 到 50 条，并用 context 判断是不是瞎编、用 reference_output 判断对不对。字段映射错了，整次评估作废。
研究与基准测试2026-09-156 分钟
只看正确性会放过过程错误：华为云把评估器分成三类
华为云 AgentArts 预置 50 多个评估器。只拿正确性满分不能上线：订票答对却没调 API、事实对但风格不合、回答正确却带偏见，都要靠结果、调用链和体验三类评估器互相制约。
研究与基准测试2026-09-145 分钟
五档分必须写理由：华为云 Rubric 评估器可以不传准则
华为云 AgentArts 的 Rubric 评估器只输出 0.0、0.25、0.5、0.75、1.0。input 和 actual_output 必填，评分准则可以不传，由平台自动生成。理由必须写出各维度分数和综合分怎么算。页面没有给四档重要程度的通用权重。
研究与基准测试2026-08-056 分钟
同一套卷子才算回归：华为云把 RAG 优化收成闭环
华为云 AgentArts 把 RAG 优化收成评估、分析、改文档或配置、再回归。每个场景至少 30 到 50 条。没有 context，幻觉和引用相关性评估器不能工作。回归必须用同一评测集和同一评估器。页面没有给出优化前后的分数。
研究与基准测试2026-07-167 分钟
从抽样聊天到可回归：华为云 AgentArts 的智能体评估方法
华为云 AgentArts 用评测集、40 多个评估器和评估任务替换 5 到 10 条手测。流程是 30 到 50 条基线、低分下钻、按病因改提示词或工具、同一评测集回归。裁判打分并非 100% 完美，允许改分作真值。