低分样本先别改全局 Prompt：阿里云百炼用评测结果决定改哪一句

低分样本先别改全局 Prompt：阿里云百炼用评测结果决定改哪一句

阿里云大模型服务平台百炼（Model Studio，阿里云的模型与智能体应用平台）帮助中心《Evolution 应用优化》的页面日期是 2026-09-19，最后修改时间是 2026-10-12。本文按首次标注的 2026-09-19 记。文档把优化分成四条路：多版本对比、调试结果加人工反馈、用评测集改 Prompt、用已经跑完的评测任务改 Prompt。采纳新 Prompt 都不会自动发布。

对比最多三组，采纳只改草稿

使用前要有已经发布成功的应用，并准备能暴露问题的问题，例如答得不全、语气不对、格式没守住，或有合规风险。

多版本对比先检查当前 Prompt 是否写了角色、任务、回答规则、边界和输出格式。点「对比模式」后，默认一组基准、一组对照，对照组最多再加两组，也就是一组基准加两组对照。基准和对照一开始都等于当前草稿。调试时各组分别回复，可以多轮重跑，也可以改配置再跑。看中某一组后，点「采纳当前组的配置项」，只把该组 Prompt 写进编辑区，不发布。

调试反馈要围绕同一个目标

右侧调试窗口建议先打真实业务里容易出错的场景：漏了规则、条件或例外；语气不符合人设；没按格式、又长又乱；没按知识库、出现没有依据的回答；缺少安全、合规或业务边界。

问题能由一个案例说清，就只选当轮这一条，窗口显示「当轮调试结果」。同类问题反复出现，就进批量选择，窗口显示「已选调试结果（N 条）」。多条结果要围着同一个优化目标，互相冲突的反馈会让优化不好执行。

然后在「人工评估的反馈」里写问题在哪、希望怎么改。文档给的写法是「问题现象 + 具体缺失或错误 + 期望行为」。例子是：回答只说了一般退款规则，漏了家电类目例外；请把一般规则、适用条件和特殊品类例外都列出来。系统拿三样东西生成新 Prompt：当前 Prompt、选中的调试对话、这段人工反馈。对比后再决定是否采纳。采纳仍然只改编辑区。

评测集要同时留下坏样本和好样本

已经有一批洗过的问题、参考答案或历史回答时，在调试优化里选「基于评测集优化 Prompt」。要选评测集和版本，可以先看字段和数据对不对，再分页勾选条目。

文档要求三类样本一起进：能暴露当前 Prompt 缺陷的典型样本；能代表正常能力的样本，用来防止改完退化；必要的边界样本，补异常输入、安全或合规。评测集里如果混着多个业务目标，要拆成不同任务，避免约束互相打架。

字段映射有三行。应用输入必填，对用户问题或请求。应用输出选填，可以对实际回答或参考答案。轨迹选填，评测集里有调用链、步骤或轨迹时才填。映射错了，系统对问题模式的判断会跟着错，所以映射前要抽查。确认版本、范围和映射后开始优化，完成后在智能优化报告里看结果，再点「采纳该优化版本」。同样不自动发布。

评测任务只吃已完成的低分，并留一点高分

批量评测已经结束时，可以改走「基于评测任务优化 Prompt」。和直接用评测集的差别是：这里用已经打出来的结果找共性问题。

任务状态必须是「已完成」。点进详情，核对应用版本、评测数据和评估器是不是这次要改的那一套。勾选时优先拿有代表性的失败或低分样本，并留少量高分样本当正向参照。不要拿单个异常样本去改全局 Prompt。如果失败来自知识缺失、工具异常或模型能力不够，先处理那一层，而不是只改 Prompt。

映射规则和评测集一样：应用输入必填，应用输出和轨迹选填。抽查后再开始。报告确认后采纳，还是只写入编辑区。

发布前要重跑三类场景

采纳之后建议重新调试，并且同时覆盖：原来的问题是否真的修好；正常流程有没有退化；异常输入、信息不足或冲突指令能不能处理。这三件都过了再点发布，新版本才生效。

文档把常见问题说死了：采纳不会立刻生效；单一问题选一条，重复出现的同类问题选多条；优化后必须再调。页面没有给出优化前后的分数、样本条数或采纳率。

出处：阿里云，阿里云，Evolution 应用优化，2026-09-19，https://help.aliyun.com/zh/model-studio/agenteval-optimization