采样可以拉到 100%，最大样本数却没写死：阿里云 AgentLoop 的评估任务

CodexQA 团队2026年8月20日阅读约 3 分钟

阿里云 AgentLoop 评估任务的数据来自链路、日志或数据集。采样比例是 0% 到 100%。页面建议上线前用 100%，线上监控用 10% 到 50%，但没有给出最大样本数。删除任务不影响查看历史数据。

采样可以拉到 100%，最大样本数却没写死：阿里云 AgentLoop 的评估任务

评估任务是把待测数据和若干评估器绑在一起，自动跑评测、产出结果。页面说深度分析这些结果，可以量化 AI 应用的真实水平，给发布、调优和成本决策用。这里的「真实水平」没有百分数。

三种来源，两种跑法

创建分两段：数据配置，以及评估器映射。

任务名称必填，例子是「电商客服场景整体测试」。任务描述可选。

数据来源三种。链路 Trace，从 Agent 调用链取数，用于线上流量和持续监控。日志 Log，从日志系统取，用于离线分析。数据集 Dataset，用事先准备的测试数据，用于上线前、版本对比和回归。

运行策略可以开一种或多种。基于新数据持续评估：有新数据就自动评。基于历史数据评估：对选定时间段里已有的数据做批量回溯，可以用「数据预览」看样本全不全。页面没有写两种同时开时，同一条数据会不会评两次。

采样比例是 0% 到 100% 的滑动条。页面的建议是：上线前的全面测试用 100%；线上持续监控按流量大小用 10% 到 50%。高采样给精细评估，低采样给高流量下的成本控制。原则写成在统计可信度和成本之间平衡。没有给出置信区间，也没有给出 10% 或 50% 对应的流量门槛。

最大样本数用来限制单次评估的条数，避免消耗过多资源。页面没有写出这个上限是多少，也没有默认值。

评估器可以多选，保存后就跑

第二步选评估器。先预览数据源，确认变量映射对不对。评估器可以从预置或自定义里多选，同一批数据做多维并行评估。选中后右侧给出名称、类型、这个评估器要的输入变量，以及变量从哪个字段来。系统可以自动匹配，也可以手改。例子是 input 映射到 Span 里的用户输入，output 映射到 Agent 输出。配完点「保存并运行」，任务开始执行。

列表列包括任务名称和 ID、描述、数据来源类型、状态、创建时间、更新时间。状态有待运行、调度中、运行中、已完成、失败、已终止。

管理操作六项。启动已停止的任务。停止正在跑的任务。编辑可以改描述、运行策略和评估器。开启运行会再触发一次评估。复制按现有配置建新任务。删除任务之后，历史数据仍然可以看。页面没有写编辑进行中的任务会不会打断当前这次运行，也没有写复制会不会带上历史结果。