行程完全做对最多 35%：阿里用可核验约束测长程规划

行程完全做对最多 35%：阿里用可核验约束测长程规划

阿里巴巴集团通义千问团队的 DeepPlanning（用可核验约束考察长程规划的基准）不把单步工具是否调用成功当成总分。智能体在离线沙箱里自己查数据，旅行题要交出分钟级行程，购物题要交出购物车。约束用代码核对，不让另一个模型给整卷打分。

一、为什么单步对了仍可能整卷作废

长程评测已经很多，但多数仍看局部：筛一家酒店、改一段航班。真正难的是全局约束，总时间、总预算、前后步骤彼此卡住。经典规划题又把「自己去把信息找齐」这一步拿掉了。

DeepPlanning 把能力拆成三块。主动取信息：事实不写在题面里，必须调用工具。局部约束推理：既要满足用户明说的条件，也要处理环境里才暴露的条件，例如景点当天关闭、航班余票不够。全局约束优化：旅行要同时满足时间不重叠、地点接得上、预算算得对；购物不是每件都买最便宜，优惠券叠加上去以后，更贵的组合可能才是总价最低的那一车。

二、题怎么造、怎么判

每道题都在独立的离线沙箱里跑，数据库只能通过给定的 Python 工具访问。

旅行规划有 120 道彼此不同的题，每道同时有中文和英文。每题 7 个任务专属子库、9 个专用接口，例如查询酒店。平均每题大约 7708 条记录。智能体要排出含交通、住宿、景点和用餐的分钟级行程，并给出分项费用和总预算。

购物规划有 120 道英文题。每题 3 个子库、15 个专用接口，例如搜索商品。平均每题大约 171 条记录。最终交付物是结构化的购物车 JSON。

造题分三步。先建库和工具：旅行数据来自飞猪、高德和网页搜索，覆盖热门旅游城市的价格、班次、坐标和评分；购物数据是合成的，方便控制价格、库存、销量和促销。工具做成层级，逼智能体多步查询。然后从答案反推题目：先有骨架（出发地、目的地、日期，或一组同一主题的商品），再注入个性化约束，再注入只能用工具才能发现的环境约束。约束加完后，库里的候选会被调整到恰好只剩一个最优解。最后用一个大语言模型把结构化约束写成口语化问题，再由人工改语言、改逻辑，并确认每题都有解。

判分不用大语言模型当裁判，但旅行题有一个例外：先用 Qwen-Plus-2507（通义千问的一个解析模型）把自然语言行程收成固定结构，后面的检查才是代码。

旅行有四项：

• 常识分看 8 个维度、共 21 个检查点，包括路线是否接得上、是否只用了沙箱里的事实、行程结构、时间是否可行、营业时间、时长是否合理、费用是否算对、活动是否多样。某一维必须全部检查点通过才得 1/8，否则该维是 0。一道题的常识分是这 8 维之和。
• 个性化分只看题面里注入的用户约束，全部满足为 1，否则为 0。
• 综合分是常识分和个性化分的平均。
• 个案准确率更严：常识分和个性化分都满分才记 1。

购物拿购物车和标准答案比。匹配分是命中的商品数除以标准答案商品数。个案准确率要求购物车里的商品与标准答案完全一致。

实验把各家模型都接成函数调用智能体，工具用 OpenAI 的工具模式描述，每题最多 400 次工具调用。混合思考模型在思考模式下把推理力度开到最大。每题跑 4 次，再对全部运行和全部题取平均。旅行分把中文和英文两套变体合在一起平均。

三、数字：约束分高，全对的很少

下表是论文 Table 2 的平均个案准确率，以及旅行、购物两侧的主要分数。CS、PS、Comp 分别是常识分、个性化分、综合分。旅行个案准确率和购物个案准确率都是百分数。最好的加粗只在原文表格里，这里不标。

旅行一侧，最好的 GPT-5.2-high 综合分有 85.8，完全做对的个案只有 35.0%。一次预算超了或时间撞了，整份行程就作废。购物也一样：匹配分经常到 80 上下，完全一致的购物车少得多。

打开思考大体都涨。Qwen3-Max 的平均个案准确率从不思考的 12.8 到思考的 28.7，旅行个案准确率从 0.8% 到 13.8%。Seed-1.8-high 的旅行个案准确率仍是 0.0%，购物个案准确率 40.8%。正文写 Gemini-3-Flash-Preview 的购物个案准确率是 60.0%，并且说它超过所有其他模型。Table 2 里这一格是 51.7，低于 GPT-5.2-high 的 54.2。下面以表为准。

成本只看旅行规划上的工具调用和交互轮数，不看金额。工具越多，综合分大体越高。GPT-5.2-high 最好，大约每题 224 次工具调用。Claude-4.5-Opus 打开思考后，轮数从 16.9 降到 12.5，工具调用从 79.5 降到 72.9，作者把它解释成少做无效试错。同一族里，GPT-5.2-high 比 GPT-5.1-high 高 12.7 个百分点，但轮数接近后者的 10 倍：一个偏并行，一个偏逐步核对。GPT-5.1-high 没有出现在 Table 2。

复杂度上升就掉分。旅行从 2 天加到 7 天，综合分下降，局部错误会跨天传开。购物从第 1 档到第 3 档，个案准确率下降。第 2 档加上价格区间，第 3 档加上优惠券的时间条件，题目从「找对商品」变成「整车一起优化」。正文没有给出这两张图的逐档数字。

错误分析只标了 Claude-4.5-Opus 思考模式的 140 条失败轨迹，旅行 80 条、购物 60 条。一条轨迹可以同时算进多类。隐性约束（计划和环境事实冲突，例如 4 个人去订只剩 2 张票的航班）在旅行里出现 86 次、购物里 21 次。全局优化失败最多：旅行 101 次、购物 52 次，包括优惠券组合不是最优、多日行程重复、步骤时间重叠、日与日之间接不上。另两类是没去查关键信息、工具用错或参数格式不对，以及查到了却在成稿时写成另一个数。这三类没有逐项计数。

四、限制

领域只有旅行和购物。旅行库是真实接口采来的快照，购物库是合成的。题目是往骨架上加约束再改写成口语，和真实用户问法会有分布差。作者也写了：每题被调整成恰好一个最优解，所以这套评测奖励「找到那一个解」，不奖励多个都合格的方案。

旅行分不完全是规则分。自然语言行程先经过 Qwen-Plus-2507 解析，解析错了，后面的代码检查会跟着错。购物直接比 JSON，这条依赖更弱。

每题 4 次再取平均，主表没有给出方差。工具上限是 400 次，没有报告有多少题顶到上限。正文和 Table 2 对 Gemini-3-Flash-Preview 购物个案准确率不一致。评测是单轮多步，没有多轮跟用户改需求。

出处：阿里，Yinger Zhang、Shutong Jiang、Renhao Li、Jianhong Tu、Yang Su、Lianghao Deng、Xudong Guo、Chenxu Lv、Junyang Lin，《DeepPlanning: Benchmarking Long-Horizon Agentic Planning with Verifiable Constraints》，2026-07-02，https://aclanthology.org/2026.acl-long.335