流式输出先别看总分：华为云 AgentArts 把字段映射当成评估是否有效的开关

流式输出先别看总分：华为云 AgentArts 把字段映射当成评估是否有效的开关

华为云智果（AgentArts，华为云的智能体开发平台）文档《运行时智能体离线评估实践（流式）》页面标注的更新时间是 2026-10-23 GMT+08:00。页面没有另给首次发布时间。文档用一个中英翻译助手，把流式运行时智能体从部署到离线评估分成五步：托管、构造评测集、选评估器、创建任务、看报告并人工复核。它反复强调的不是模型分数，而是调用入口、字段映射和鉴权方式一旦错位，后面的分数就没有意义。

五步分别在验什么

步骤一把本地写好的翻译智能体打成容器镜像，用 SDK 一键托管到智能体运行时，得到可以批量调用的云端入口。步骤二把评测集定义成考卷：input 是待翻的中文，reference_output 是期望的英文。步骤三不自研评估器，直接用平台预置的「正确性」评估器，对照标准英文看语义是否完整、有没有漏翻或翻错。步骤四把智能体、评测集和评估器连起来，配置请求体、响应类型和字段映射。步骤五看总体得分和逐条评分理由，把低分输出和参考答案对上，用来发现 Prompt 约束不够、边界处理有缺陷，再调优并回归。

文档写明：只看分数、只比对输出文本，不是评估的终点。价值在于顺着评分理由定位执行链路里的缺陷，例如知识库检索为空、Prompt 约束力不足，再针对这些行为改。这篇翻译示例本身没有知识库，检索为空是它举的一般性缺陷，不是这次翻译任务的实测结论。

部署约束：架构、区域和镜像格式

本地环境推荐 Linux Ubuntu 22.04 ARM64，并且服务器能访问公网。文中命令默认按 Ubuntu 写。Python 需要 3.10 及以上，Docker 需要 18.06 及以上。必须用 ARM64 制作镜像；用 X86 制作的镜像，调用智能体运行时会失败。文档建议用华为云 ECS 的鲲鹏架构（ARM64）加 Ubuntu。CentOS、EulerOS 等系统要把 apt 换成 yum 或 dnf，并自行确认 Docker 和 Python 版本，正文不展开各发行版差异。

构建镜像时要拉 python:3.10-slim。文档提醒先配国内镜像加速，否则 agentarts launch 可能超时。华为云 SWR 基础版不支持 OCI 镜像格式。Docker 27 及以上默认用 OCI，推到 SWR 会报错，需要把 DOCKER_BUILDKIT 设为 0，或把 BUILDKIT_USE_OCI_MEDIA_TYPES 设为 0。

示例模型是 deepseek-v4.1-flash，服务地址写的是 https://api.modelarts-maas.com/openai/v1 ，监听端口可选，默认 8080。SDK 部署时区域只支持 cn-southwest-2。智能体名称要以小写字母开头，以小写字母或数字结尾，中间只能有小写字母、数字和中划线。依赖文件默认 requirements.txt。SWR 仓库名建议留空，由工具自动创建；如果手填，必须是已经存在的仓库，不存在的名字会报错。

本地先验证两件事。GET /ping 应返回类似 {"status":"Healthy"} 的内容，平台健康检查才能过。POST /invocations，Content-Type 为 application/json，请求体带 message。流式入口约定：没有 message 时返回 status 为 error；正常时按片段 yield，status 为 streaming，最后再给一条 response 为空、status 为 done 的结束标记。异常则 status 为 error。文档把 AgentArtsRuntimeApp 和 entrypoint 解释成平台通信协议和健康检查的封装，每次调用都会进这个处理函数。

评测集：两列，提交后才算正式版本

路径是左侧「观测与优化 > 评估」，在「评测集」页签创建。示例名称是「中英翻译助手评测集」，描述写明覆盖日常短句和办公常用语。基础列只有 input 和 reference_output，可以选数据类型和是否必填。input 的含义是用户输入的中文；reference_output 是标准英文参考，描述要写清楚，方便评估器理解预期。

数据可以在页面上手工添加，也可以上传表头匹配的 CSV 或 Excel。评测集只有提交之后才会发布成正式版本，评估任务才能用。文档没有给出这套翻译题的条数、题型比例或标准英文原文。

评估任务：流式响应和字段映射

任务名称示例是「中英翻译助手智能体评估」。类型选离线评估，执行类型选立即执行，并开启智能分析。评估对象要切到「智能体运行时」，对已部署的智能体做调用配置，调测通过之后才能被任务选中。

请求头里默认有两项。Content-Type 默认 application/json。X-Hw-Agentarts-Session-Id 默认是变量 {{sessionID}}，用来维持多轮上下文；调测时要手填测试值，例如 test_123456，多轮对话共用同一个 sessionID。请求体里的静态文本要换成变量，例如 {{input}}，评测集才能自动注入。运行时场景下，查询参数（Query）不支持自定义。

这个示例的智能体是流式输出，响应类型必须选流式输出。要改流式事件类型，得改 app.py 再重新部署。智能体输出填真实响应字段名，本例是 response。

评测集选上一步创建的那份，评估器选平台精选里的「正确性」。平台会自动做字段关联，文档仍要求人工核对：待翻的中文在哪一列，标准英文在哪一列，智能体输出对应哪一列。映射错位或漏掉对照依据，任务会直接失效，或者打出没有意义的分数。任务发起后，要等具体任务都显示成功，再进报告。

调测 401：默认 IAM 过不了这一关

调测如果出现 “third-party agent returned status 401”，文档的原因是部署时身份认证默认 IAM。调测工具调用接口时，IAM 不能满足这个场景，要改成 API Key。配置文件是 .agentarts_config.yaml，authorizer_type 改为 API_KEY，authorizer_configuration 写成 key_auth 下的 api_keys，示例名称是 api_key_for_evaluation。JSON 的缩进和标点必须合法，否则配置识别不了。改完后要在运行时界面删掉当前托管智能体，再执行 agentarts launch。

重新部署后还要看「权限与访问控制」里的入站身份认证是否已经变成 API Key。没更新就再删再部署。已经更新仍 401，就要在虚拟机上设置 BEARER_TOKEN 为该 API Key，再重试调测。文档没有给失败比例，只把这条鉴权链路当成评估任务能不能跑起来的前置条件。

这篇文档没有给出的东西

页面没有报告翻译准确率、漏译率或任何一条样本的得分。正确性评估器只被定义成对照 reference_output 看语义完整和有无漏译、误译，没有写裁判模型、打分刻度或与人工的一致率。评测集规模、正向和边界题比例都没有。步骤五的正文链到了另一篇非流式文档的锚点，本篇自己的报告说明停在「看低分、对参考答案、按理由调优」，没有给出报告字段清单。区域只写了 cn-southwest-2，没有写其他区域何时开放。示例里的天气句子和 “什么是 AgentArts” 只是连通性验证，不是评测集题目。

出处：华为云，华为云，运行时智能体离线评估实践（流式），2026-10-23，https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_topic_0000002723205170.html