行业与实践 · 标签「评估器」

最新优先最早优先

查看全部

研究与基准测试2026-09-286 分钟
控制台调试不进在线评估：华为云把离线和线上拆开
华为云 AgentArts 的在线评估只吃 API 调用产生的 Trace，控制台调试不会触发。离线可以评正在跑的智能体，也可以不跑智能体、只评已有数据。每个用户免费 10 个评估任务，每个任务最多 5 个评估器。
研究与基准测试2026-09-188 分钟
评测集不是聊天记录：华为云 AgentArts 要求先对齐评估器
华为云 AgentArts 把评测集当成考卷：至少 30 到 50 条，正向、边界、对抗、安全大约按 50%、20%、20%、10% 配置。防幻觉必须单列 context，actual_output 不能提前写进试卷。
研究与基准测试2026-09-156 分钟
只看正确性会放过过程错误：华为云把评估器分成三类
华为云 AgentArts 预置 50 多个评估器。只拿正确性满分不能上线：订票答对却没调 API、事实对但风格不合、回答正确却带偏见，都要靠结果、调用链和体验三类评估器互相制约。
研究与基准测试2026-09-145 分钟
五档分必须写理由：华为云 Rubric 评估器可以不传准则
华为云 AgentArts 的 Rubric 评估器只输出 0.0、0.25、0.5、0.75、1.0。input 和 actual_output 必填，评分准则可以不传，由平台自动生成。理由必须写出各维度分数和综合分怎么算。页面没有给四档重要程度的通用权重。
研究与基准测试2026-08-258 分钟
预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打
阿里云 AgentLoop 评估器分 Agent Judge 和 Code。预置六项只有用途，没有准确率。名称和类型创建后不能改。Score 和 Reason 必选，CoT 可选。优势段写了 MCP，创建步骤只写上传 SKILL.md。
研究与基准测试2026-08-1211 分钟
描述不可信：阿里云用三天把 UGC 游戏 Agent 收成可回归
阿里云 AgentLoop 在 UGC 游戏 Agent 上用 3 天走完观测、分层评估、根因和回归。事实层按正确项除以正确加错误项打分，一条样本 16 项里 9 项错。回写后的新分数没有公布。
研究与基准测试2026-07-228 分钟
8B 动态规则高于 235B 静态规则：微信用它替换搜索回答
DR-Generator-8B 六项准确率都高于 Qwen3-32B 零样本动态规则。用它监督的 8B 策略，开放题四项高于 70B 奖励模型和 235B 静态规则。微信搜索已全量替换，绝对指标未公开。

控制台调试不进在线评估：华为云把离线和线上拆开

评测集不是聊天记录：华为云 AgentArts 要求先对齐评估器

只看正确性会放过过程错误：华为云把评估器分成三类

五档分必须写理由：华为云 Rubric 评估器可以不传准则

预置六项没有分数：阿里云 AgentLoop 只规定评估器怎么打

描述不可信：阿里云用三天把 UGC 游戏 Agent 收成可回归

8B 动态规则高于 235B 静态规则：微信用它替换搜索回答