单条提案做成 0.6786，人类只有 0.3229：阿里 Astar 用真执行评进化方向

单条提案做成 0.6786，人类只有 0.3229：阿里 Astar 用真执行评进化方向

阿里巴巴集团的预印本 Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems。arXiv 提交日期是 2026 年 8 月 27 日（2608.27287v1）。作者包括 Jinxin Hu、Hao Deng、Haibo Xing、Lingyu Mu、Muyu Zou 等，第一单位是 Alibaba Group，合作单位是浙江大学。Astar 是一套从工业系统自己的迭代记录里学习「下一步该改什么」的模型。这篇要看的不是广告模型本身，而是提案怎么判对、代理分和真执行分差多少、线上 A/B 只覆盖哪五天。

迭代先记成可学的样本，再谈自动进化

工业模型被写成四段循环：提出进化方向、改代码、训练、下游评测。评测结果决定这条提案留下还是丢掉。后三段已经在自动化，提案仍靠资深算法工程师。一次验证往往要跑完整实现、训练和评测，工业场景里常常要好几天。方向选错，时间和算力一起浪费。

直接拿通用大模型提案，作者认为建议泛、和系统对不上。难处不是缺提示词，而是经验写不进一份静态说明。他们改从提交历史学：每条提交从当前模型出发，记下改了什么、效果怎么变。

四个困难写在前面。历史记录直接监督少，相邻提交之间的方向样本稀疏，量级经常只是几百条。噪声多，不少改动只是配置、日志和重构。方向空间大。真实验证太贵。

数据侧把相邻实验做成成对样本。正样本是做成的尝试，负样本是失败的尝试。先抽进化相关的代码差，而不是整仓。去噪分两段。

执行逻辑过滤：对前后两个实验分别建调用图，没被调用的函数和到不了的分支当死代码丢掉；再解析成抽象语法树，去掉 print、assert、注释，并抹平格式和 import 顺序；最后对差量做配置白名单，output_dir、gpu_count、job_name 这类工程变量丢掉，learning_rate、optimizer、model_name 留下。

进化意图过滤：用大模型把洗净的改动映射到三级提示，粗方向、细改动作、具体修改计划。映射不上的当含糊噪声丢掉。另外再写一句 Evolution Idea，给训练多一条文本监督。

模型侧分三段，底座是 Qwen3。中训练 112B token，监督微调用 81.1M token 的正样本，强化学习用 GRPO，8.06M token。输入最长 8192 token。强化学习里的奖励模型被当成快速代理评测器，用来代替每次都真跑。

两条尺子：奖励模型过 0.5 算正，真执行看损失是否下降

对照分两路。一路是资深算法工程师的提案，当作现在产线靠的人类水平。另一路是同一系统上下文下的通用模型：GLM-5.2、Kimi-K2.6、MiniMax-M2.7、DeepSeek V4 Pro、Claude-4.8-Opus、Qwen-3.7 Max、GPT-5.5。这些通用模型没有目标系统的迭代史。

指标是 pass@k 风格的 RM@k 和 S@k。RM@k 看离线奖励模型对「损失会不会下降」的预测概率，超过阈值算正，实验里的例子是 0.5。S@k 用真执行后损失是否相对基线下降做地面真值。每个系统上下文独立抽 k 条提案，至少一条为正，这个上下文才算成功，再报告成功上下文的比例。论文说两种指标一致性高，依据是表 2 并排，没有另给相关系数。

规模三档：Astar-0.6B、Astar-4B、Astar-8B。

表 2 把奖励模型分和真执行分放在一起。

S@1 是单条提案的真执行成功率。Astar-8B 是 0.6786，人类 0.3229，通用模型里最高的 GPT-5.5 是 0.3071。最小的 Astar-0.6B 也有 0.5435，已经高于表里所有基线。S@3 把三次抽样里「至少一次做对」算成功，人类从 0.3229 升到 0.4873，Astar-8B 从 0.6786 升到 0.7857。RM@1 和 S@1 不是同一个数：人类 RM@1 只有 0.2041，S@1 是 0.3229；Astar-8B 则是 RM@1 0.7183 高于 S@1 0.6786。代理分不能直接当成真执行分。

训练阶段消融只报了 RM，没有同步报 S。未训练的 Qwen3-8B，RM@1 是 0.0380，RM@3 是 0.1266。只做中训练升到 0.6041 / 0.6947。加上监督微调是 0.6853 / 0.8179。再加强化学习到 0.7183 / 0.8755。中训练贡献最大，但它注入的也包括结构化输出格式，不能全部算成「更懂业务」。

输入消融：原始代码仓 S@1 0.4151、S@3 0.5882；换成自然语言的 Basic Information 后是 0.6786 / 0.7857。输出消融：去掉三级提示，奖励模型 AUC 从 0.8487 降到 0.7910，准确率从 0.7890 降到 0.7031。这组消融用的是奖励模型，不是真执行。

线上只测了五天，吞吐是量级不是计数

Astar 接到阿里 Lazada 广告召回模型上，连续两周做了 20 轮进化。离线 Hitrate@200 累计提高 23.6%。随后 2026 年 7 月 1 日到 7 月 5 日做线上 A/B，流量随机分到实验组和对照组。表 5 写的全是相对提升，且都标了 p < 0.05：GMV +4.86%，广告收入 +1.82%，点击 +0.84%，订单 +1.79%。绝对基线、流量规模、实验组和对照组各多少请求，正文没有给。

效率对照用的是大 O，不是精确条数。人工流程每周验证过的方向是 Θ(1) 到 Θ(10)，每条 Θ(1) 到 Θ(10) 小时。Astar 流程是每周 Θ(100) 条，每条 Θ(1) 到 Θ(10) 分钟。论文说吞吐提高一个数量级以上，工时从小时级降到分钟级。这不能读成「正好 10 倍」或「正好 100 条」。

两个案例只说明提案长什么样，没有单独的成功率。案例一：解码器共用前馈网络被判成粗粒度和细粒度码本互相干扰，建议按码本层级换成混合专家，按层号确定路由，每个 token 仍只激活一个专家，计算量保持不变。案例二：Muon 优化器里的 Newton-Schulz 正交把奇异值都归一成 1，会放大本来被小奇异值压住的噪声；建议用 Marchenko-Pastur 界做信号和噪声分界，界以上照常正交，界内衰减。两个案例都没有在表 2 里单列分数。

这些数不能被读成什么

S@k 才是真执行，RM@k 是代理。阈值例子是 0.5，换阈值会改 RM。表 2 的「高一致」是并排数字，不是一张相关图。人类 S@1 0.3229 没有写清评了多少位工程师、每人几条。通用模型没有迭代史，和 Astar 的差距里包含「没看过这家系统的提交」，不是同一信息量下的能力差。

线上窗口只有 7 月 1 日到 5 日。相对提升没有绝对盘。离线 Hitrate@200 的 23.6% 是 20 轮累计，和线上四个百分数不是同一口径，也不能相加。召回变好会不会在排序和转化上继续放大，正文写成「可能」，没有测完整个链路。

每周方向数和单条工时是量级符号。去噪依赖调用图、语法树、一份参数白名单，以及另一次大模型意图分类；白名单没覆盖的参数、调用图漏掉的动态调用，都会改训练样本。未来工作写明：现在是一次前向就出方向，还没有多轮反思，也还没有创新者、批评者、验证者分工。作者正在往内容推荐、基座微调和 Agent harness 扩，这些场景的泛化还没有数。许可证是 CC BY-NC-SA 4.0。

出处：阿里巴巴集团，Jinxin Hu、Hao Deng、Haibo Xing、Lingyu Mu、Muyu Zou 等，Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems，2026-08-27，https://arxiv.org/abs/2608.27287