分数从 0.0 到 1.0：火山引擎把评估器分成模型和代码两路

分数从 0.0 到 1.0：火山引擎把评估器分成模型和代码两路

火山引擎 AgentKit 文档《创建和管理评估器》的页面最近更新时间是 2026.07.28 17:51:16。实验开始前至少要有一个评估器。LLM 评估器按 Prompt 里的标准打分，并写出得分原因。默认分数从 0.0 到 1.0，1.0 是完全满足，0.0 是完全不满足。开发者也可以自己改标准和分值范围。文档写明，模型和原因都是 AI 生成的，可能有偏差，所以允许人工改分。

两条来源，两种算法

按来源分，预置评估器由平台提供，例子是 Agent 任务完成度和轨迹质量。自建评估器由业务自己写，也可以从模板改。

按算法分，LLM 评估器用大模型比较预期输出和实际输出，标准写在 Prompt 里。Code 评估器执行函数，检查是否包含某段文本或是否符合格式，文档说它适合精确性要求更高的场景，例如 JSON 判断。Code 评估器目前支持 Python 和 JavaScript。

模型只能选豆包，代码有固定依赖

LLM 评估器的模型选择写的是使用豆包模型，并且目前只支持豆包。Prompt 可以用模板，也可以改。规则复杂时可以再加 User Prompt。文档写明 User Prompt 的优先级高于 System Prompt，模型会优先处理 User Prompt 里的规则。

Code 评估器默认带两种语言的官方库，另外点名了这些第三方库：JavaScript 的 lodash-es 4.17.10；Python 的 numpy 2.2.2、pandas 1.5.2、jsonschema 4.21.1、scipy 1.14.1，以及文档写成 sklearn 1.26.4、对应包名 scikit-learn。提交前要过语法检查，通过才能发版本。

测试数据可以手写，也可以从已有评测集的某个版本抽。手写样本分成三块：evaluate_dataset_fields 放输入和 reference_output，evaluate_target_output_fields 放 actual_output，ext 放版本、样本编号、来源这类元信息。input 建议写成常量，不要塞时间戳和动态 ID。线上 Trace 进 actual_output 时要保留原文，不做改写或清洗。content_type 列举了 Text、Image、Audio、MultiPart，另有 multi_part_variable。

实验里怎么换

一个实验可以挂多个评估器，也可以挂同一个自建评估器的不同版本。迭代评测对象时，评估器不动，换 Prompt 版本。迭代评估器时，评测对象不动，换评估器版本，看打分是否更准。文档还建议把 LLM 评估器自己也当成一个 Prompt 评测对象来迭代。

这一页没有写预置评估器的完整名单，也没有写人工校准的样本量和通过线。

字节跳动，火山引擎，创建和管理评估器，2026-07-28，https://www.volcengine.com/docs/agentkit/Self-builtEvaluator