清明上河图 63 分，四家都跑完：阿里云用同一套 Qoder CLI 评五项长程任务

清明上河图 63 分，四家都跑完：阿里云用同一套 Qoder CLI 评五项长程任务

阿里云社区 2026 年 10 月 15 日的原文《Qwen3.8-Max on Qoder CLI: Five Hardcore Tasks, Put to the Test》。Qoder CLI 在这里不是又一个调用接口，而是给模型同一套工具、执行环境和反馈回路的 Agent harness。对照是 Qwen3.8-Max、Claude Opus 4.8、GPT-5.6 Sol、Claude Fable 5。外部三家走的是实验环境，不是它们的正式产品。每项任务一次提示、中途不再追问。这篇要分开看的是：谁做完了，分数差了多少，以及哪些差不值得排名。

五项都做完，评分只出现在三处

任务从预览阶段就开始测，正式版出来后换了一批新的长程题。有的任务跑几个小时、几百次工具调用。清明上河图这一项，Qoder CLI 自主跑了 4 小时 23 分，大约抓了 378 张自己的画面再改。后文的用时表里，Qwen3.8-Max 是 263 分钟，和这 4 小时 23 分对得上，所以这句说的是这一家，不是四家的平均。

结论写在第 6 节：五项里四家都自己跑完，没有中途跑偏。但每项只跑一轮。小分差不当成排名。测的是「模型加上这套工具」，不是裸模型。提示、交付物和评测脚本放在 https://github.com/QoderAI/qodercli-bench-qwen3.8 。

清明上河图：五类各 20 分，Qwen 不是最高

要求从空目录和高清扫描出发，做成单个离线文件、可走动的三维手卷。六章、24 个固定机位。物体用程序化实体几何，不能用图片冒充三维场景。

四家都交了真三维，没有用贴图充数。五类是功能交付、三维几何、叙事、画面还原、工程质量，每类 20 分。Claude Fable 5 是 73，Claude Opus 4.8 是 72，Qwen3.8-Max 是 63，GPT-5.6 Sol 是 56。用时按同一顺序是 189、72、263、47 分钟。

Qwen 没有用现成三维引擎，自己写渲染器。文件 123 KB，Fable 是 822 KB，Opus 是 549 KB。每帧大约只画 46 批物体，Fable 的场景要 3000 到 5700 批。代价写在画面上：六章偏空，城门没有车马和市集；地面和天空有颗粒块。这些块是模型故意加上的，为了把和原画的计算相似度往上抬。指标升了，看起来更差。它也是四家里最慢的。

Opus 的虹桥人群、桥下船和两岸摊最接近原画的市井。Fable 结构最稳，画面同样空。GPT 的桥构件错位、互相穿插，最后交的是未完成报告，没有把没做完说成做完。

KV 存储：27 项私有测试都过，差距在吞吐

用 Rust 从零写内存 KV，指定 QKV 二进制协议和四条命令。核心手写：不用异步运行时、网络或存储框架、第三方缓存、哈希表、内存分配库，也不用 io_uring，全程离线。起点只有任务说明、协议和基础测试。

四家都完成。代码大约 860 到 1615 行。27 项私有测试全部通过，正确性没有拉开。峰值读吞吐：Qwen 11.8M，Opus 10.5M，GPT 4.5M，Fable 10.5M ops/s。峰值写：12.2M、9.6M、4.7M、8.7M。读写各半：10.2M、8.8M、4.7M、9.1M。

吞吐差主要在写路径是否攒批。Qwen、Opus、Fable 一次读入全部命令，再把响应拼成一块写出。GPT 第一轮对每条命令调用一次 write()，libc 绑定里甚至没有 writev。攒批增益（batch-256 相对 batch-1）按同一顺序是 99 倍、92 倍、12 倍、98 倍。GPT 第二轮补上 writev 后升到 52 倍。这是比例，分子分母在同一台机器、同一份代码上，硬件速度抵消。原文说，即便跨次运行的吞吐上下摆动 ±55%，这个量级仍然站得住。

时延和吞吐不是同一张排名。长程测试的 p99：Opus 183 微秒，Fable 191，Qwen 217，GPT 241。16 万 QPS 过载时的 p99：Fable 537 微秒，Qwen 582，GPT 716，Opus 升到 909。Opus 的背压阈值是 16 MB，挡不住小响应积压；Fable 在积压超过 4 MB 时关掉 EPOLLIN，降到 64 KB 以下再打开。

Qwen 用 1024 个分片，写扩展和峰值写最好，原文写领先 31%，但自写的 fxhash64 只用来选分片，内部 HashMap 仍是默认 SipHash，长程 p99 被抬高。Fable 被说成五项里两次第二、一次第一、没有明显短板。前三名之间的精确次序只差 0.5% 到 9%，小于跨次运行的方差，原文写明没有统计显著性。

绝对吞吐只对这一套环境成立：每个任务新容器；服务绑 4 核、3 GB 内存，编译时关掉网络；压测机 8 个专用核；每个格点重复 5 次取中位数。换机器必须把所有基线在同一环境重跑。

四条前端题没有分数，OpenAlex 和开场动画有

四条独立前端题是天气卡片、咖啡烘焙落地页、程序化行星、芯片音乐可视化。原文按观感写差异，例如谁把温度写进卡片、谁的无障碍检查没有严重问题、谁多了一个转速滑杆。没有给出这四条的分数表，不能排成 63 对 73 那种名次。

OpenAlex 用冻结的 AI Landscape v1。时间是 2020 到 2025，10 个国家、60 个「国家–年份」单元，1198 篇去重论文，17 篇 CC BY 论文共 290 页 PDF，另有分页文本和页图。不能改输入，不能访问外网。要交结论、证据、脚本、图、仪表盘和校验记录。

四家结论大体相同，没有明显错。拉开的是证据能不能落到表、论文和页。这项分数：Qwen 100，Fable 94，Opus 89，GPT 87。Qwen 把 PDF 页嵌进图里，标论文 ID、页码和引文，另附 5 条通过页校验的证据，一共 6 条证据链。Opus 用四张卡片放论文 ID、FWCI、引用和关系判断，页图放在仪表盘别处，页级条目一共 3 条。Fable 和 GPT 分别是 5 条和 3 条。

Qwen 把 country_year.csv 的汇总和 works.csv 里 1198 篇的分层样本分开，不把样本外推成全球排名，也不把样本里的主题频率当成总体份额。合作、开放获取和高影响只写相关，不写因果。稳健性做了三件：国内去均值、逐年相关、去掉 2025。44 项自动检查都过。GPT 做了两项稳健性检查。图 10 的可信洞察指数没有在正文里给出四家的分值，不能从「Qwen 证据最全、也最慢」补出第二个总分。

《指环王》开场做成 92 秒程序化叙事动画。四家都播完。五维是故事覆盖、画面构图、运镜、运行可靠、工程可用。Fable 90，Qwen 89，Opus 84，GPT 68。Fable 的地下隧道有木支撑、暖光、宝箱和漂浮光点，另外三家同一时刻几乎全黑。它的引擎从网络加载，不能离线，后半夜戏偏暗。Qwen 只少 1 分，故事覆盖、运行可靠、工程交付三项领先，是唯一把三维引擎打进本地、能离线播放的，并带了本地服务、检查脚本和校验截图；也是唯一清楚画出「消息在村子里传开」。地下太暗，开场特写挡住不少画面。Opus 场景大约 3.3 万个三角形。GPT 用 139 行搭出完整时间线，人物和环境大多是球和方块。

这些数不能被读成什么

63、72、73、56 和 90、89、84、68 都是单次运行。原文写明小分差不能排名。清明上河图上 Qwen 比 Fable 少 10 分，同时文件更小、绘制批次更少、用时更长，不能收成「Qwen 全面落后」或「全面领先」。KV 上 27 项测试都过，正确性没有胜负。前三名吞吐次序的 0.5% 到 9% 小于跨次 ±55% 的摆动。11.8M ops/s 不能拿到别的机器上比较。31% 的写领先没有写出对照的是峰值写还是扩展曲线上的某一点，不能再外推。

四条前端题没有分。OpenAlex 的 100 分是证据可追溯这一项，不是整篇分析的准确率。6 条、3 条、5 条、3 条证据链和 100、94、89、87 分不是同一张表，不能相除。44 项自动检查通过，没有列出 44 项各自是什么。

外部模型不是正式产品上的结果。四家共用 Qoder CLI，差距里含工具，不只是模型。4 小时 23 分和约 378 张截图对应的是清明上河图里 Qwen 这一跑。五项都完成，不能读成每一项的质量接近。仓库公开了提示和脚本，正文没有给出评委人数和打分者是否与出题者分离。

出处：阿里云社区，Qwen3.8-Max on Qoder CLI: Five Hardcore Tasks, Put to the Test，2026-10-15，https://www.alibabacloud.com/blog/qwen3-8-max-on-qoder-cli-five-hardcore-tasks-put-to-the-test_603642