分数只能落在 2 到 10：阿里云 PAI 裁判员要自己写分档含义

CodexQA 团队2026年7月10日阅读约 2 分钟

阿里云 PAI 的裁判员在线体验不用评测集。可选 pai-judge 或更大的 pai-judge-plus，单模型打分或双模型竞技。评分范围只能设在 2 到 10，Temperature 取 [0, 2)，Top_p 取 [0, 1]。页面没有默认分档文案。

阿里云帮助中心在 2026 年 7 月 10 日更新了 PAI 的「开通服务及在线体验」。PAI 是阿里云的人工智能平台，这一页讲的是裁判员模型的网页试用，不是一次带样本量的模型横评。

不用评测集，先开通再填问答

初级试用不写代码，也不准备数据集。输入问题和模型回答，点一次就能出结果。前提是已经开通 PAI。

入口在控制台「模型应用 > 模型评测（ModelEval）」。点「PAI 裁判员模型」，再点「立即开通」。开通后，概览页能看到 Host、Token 和调用量。页面没有写 Token 的额度，也没有写调用量的计费单价。

在线体验仍在同一个入口，切到「在线体验」页签。

评测模型只有两个名字。pai-judge 规模更小，文档写性价比更高。pai-judge-plus 规模更大，文档写推理效果更好。页面没有参数量，也没有两者的分差。

评测模式两种。单模型评测给一个回答打分。双模型竞技在同一道题上比较两个回答，选出更好的一个。单模型只填一个回答，双模型填两个。

参考答案可以填。文档只说：确定性问题、数学题、翻译场景里，参考答案能提高评测准确度。没有写提高多少，也没有写其他场景填了会不会拉低分。

系统会按问题自动分场景，也可以手选。举例包括文本改写、角色扮演、代码生成修改与分析。每种场景有自己的评测标准。场景描述和评测标准都能改，改的是文字，不是模型权重。

评分范围必须落在闭区间 [2, 10]。每个分值的含义要自己写，页面没有给默认的分档文案。

生成参数两个。Temperature 控制随机性，越小越保守，越大越多样，取值范围是 [0, 2)，不含 2。Top_p 控制候选词的累计概率门槛，取值范围是 [0, 1]。页面没有写这两个参数的默认值。

点「评测」后，结果在「评测结果」页签里流式返回。可以对结果做反馈，文档说反馈用来改进裁判员，没有写反馈会不会改已经打出的分。

「Prompt 预览」页签会把刚才填的参数代进 Prompt 模板，用来看裁判员实际收到的全文。模板原文不在这一页。「随机示例」会自动填参数，方便点一次，那些内容是示例，不是基准成绩。

这一页没有评测集格式，没有公开数据集名单，没有通过线，也没有写双模型打成平手时怎么处理。

阿里云，PAI 文档，开通服务及在线体验，2026-07-10，https://help.aliyun.com/zh/pai/activate-service-and-online-experience

觉得有用，转给同事

微信扫码

用微信扫一扫，在手机上打开后即可转发。