星 号 分 来自 公开 榜: 美 团 给 LongCat - 2.5 的 长 程 评 测 写 了 十三 条 约定
美团 LongCat-2.5 把真实 Agent 失败轨迹收成可复现、可验证训练任务,并用 F2P/P2P、部分 rollout 和十三条评测协议给出长程智能体分数。带星号的对照分来自公开榜,自测分仅供参考。

本文目录
星号分来自公开榜:美团给 LongCat-2.5 的长程评测写了十三条约定
美团 LongCat 团队在 2026 年 11 月 1 日发布 LongCat-2.5。这是面向长程智能体任务的原生多模态模型,总参数 1.6 万亿,每个 token 激活约 480 亿。相对 LongCat-2.0,他们强调的是原生视觉理解和智能体编程。能力提升被写成两件事:长序列训练里加入更多长程轨迹,以及大规模长程强化学习,用来加强复杂代码库开发和完整项目构建的端到端工程能力。对评测更关键的是后半句:真实 Agent 的失败轨迹被收成可复现、可验证的训练任务,用来补模型短板。结果表下面写了十三条协议。带星号的对照分来自公开技术报告、博客或官方榜,其余对照分是自测,原文写明仅供参考。
视觉先变成 token,但这不是视觉分数
LongCat-2.5 把视觉信号表示成多层级离散 token,主干以同一种 token 处理视觉和文本。设计包含三块:原生分辨率视觉离散化、离线视觉预处理,以及与主干联合学习的视觉 embedding。沿用 LongCat-Next 的方法,对语义对齐编码器 SAE(Semantic-and-Aligned Encoder)产出的原生分辨率特征做残差向量量化 RVQ(Residual Vector Quantization),用来缓解视觉离散化的信息瓶颈。固定 tokenizer 可以离线预计算并缓存视觉 token ID,主干直接处理已经分好词的序列,长序列打包和切分因此更简单。
原生视觉表示是视觉码本 embedding 与主干一起学。初步验证做在平均激活参数约 3B 的较小 MoE 上:t-SNE 里视觉和文本 embedding 呈交织分布。这是小模型上的可视化,不是 1.6 万亿模型的视觉任务分数。后文视觉行要单独看协议,不能用这张图代替。
失败轨迹怎么变成可验证训练任务
RL 扩展被写成提升智能的关键步骤。训练链路覆盖数据、环境、算法和 Harness。数据合成流水线自动生成训练任务、可交互环境和可验证测试用例,来源包括 GitHub 公开仓库和内部真实场景的代码任务。筛过的 PR 和关联 issue,由 Agent 自动打标、合成环境,再用两类测试校验:fail-to-pass(F2P,改动前应失败、改动后应通过)和 pass-to-pass(P2P,改动前后都应通过)。
RL 训练时,实时 rollout 的轨迹和通过率用来做二次打标和筛选。假阴性和假阳性轨迹会离线分析,并据此持续修正、扩充 F2P,提高对任务功能描述的覆盖率和验证信号的准确性。原文没有给出仓库数、PR 数、F2P 条数或假阳性比例。
没跑完的轨迹可以续,但 token 可能已经过期
长尾用 partial rollout 异步训练。每个 RL step 保持一定过采样率,凑齐一批后中断,保存未完成轨迹,下一采样阶段再恢复。过采样率按任务通过率调整,并过滤全对或全错、梯度为零的样本组,只留能产生有效梯度的组。
部分 rollout 的代价是:同一条轨迹上的 token 可能来自不同历史检查点,样本会变旧。稳定性做法有两层。一是裁剪采样时 logprob 与当前训练时 logprob 的差异。二是按历史累计差异调整每个 token 的梯度贡献,限制陈旧性带来的梯度偏置。基础设施侧再提供训推一致性,见后文。原文没有给出过采样率的具体数值。
防奖励投机,以及回复为什么会变长
投机行为的限制写在环境里:任务环境断网,清除 git 历史和文件缓存,并用 LLM judge 监督轨迹。输出行为上,重复思考和重复工具调用有额外惩罚。过度思考和长度增长过快,则通过重新分配正样本中的 Reward 来抑制,而不是另开一个长度榜。惩罚系数、长度阈值和 judge 的量规都没有公开。
泛化靠混合训练。冷启动只需覆盖少量适配 scaffold 的用例。RL 阶段跨多任务、跨 scaffold 混合,原文认为这能提高泛化,并带动不同任务上的成绩。文中没有把某一档混合比例对应到后表的某一个百分点。
多专家在线教学:长回复按固定长度切开
专家组沿用 LongCat-2.0,分别优化 Agent 能力、推理能力和交互体验,范围包括多轮任务执行、单轮推理、细粒度指令遵循,以及不牺牲有用性的安全防御。MOPD 中,学生在各领域任务里在线采样,领域专家用采样结果上的全词表 KL 散度训练学生。
样本既要像学生的真实行为,也要让教师给出可信信号。为限制分布偏移,先前工作把教师在 SFT 或 RL 见过的轨迹拆成逐轮前缀,作为学生采样的上下文。这一版进一步把每轮教师回复按固定长度拆成 per-cut 前缀,并把学生自采样的最大长度限制为同一数值,用来处理单轮长回复里的偏移。固定长度的具体 token 数没有写出。
成本控制:同一教师轨迹的前缀分成一组,送到同一推理引擎,共享 prefill 和 KV cache。训练时以教师轨迹为树干、学生采样为分支,结合 Tree Attention,一次前向和反向完成同组全部样本的 OPD,避免在教师轨迹上重复计算和存储。
分数旁边的基础设施,哪些不能当成任务分
长序列训练跑在国产加速器上,单卡显存不足 80GB。并行组按超节点拓扑配置:FSDP 和专家并行 EP 的并行度都等于单个超节点的卡数,上下文并行 CP 不超过该卡数,使参数 AllGather、专家 token AllToAll 和 KV AllGather 留在超节点内的高带宽域。混合词表并行在 DP 和 CP 联合域内分片基础词嵌入、LM head 和 N-gram 嵌入。专家负载不均衡时,基于 MoonEP 的动态专家复制只在不均衡达到预设阈值后才启用,避免通信开销超过均衡收益,也避免路由 token 把接收端或发送端显存打满。图像 token 提前生成,训练计算图不再包含视觉编码器。已知图像 token 数量后,打包时可以预估各模态负载,让各数据并行 rank 的模态占比接近。
双重分片 FSDP 把模型参数留在超节点内的 FSDP 域,FP32 主权重和优化器状态再用 HSDP 副本跨 FSDP 域分片。参数、梯度和优化器状态放进连续扁平缓冲区,支持非均匀分片和 Muon 优化器分片。综合这些优化后,该 FSDP 配置在长序列 SFT 上的单卡吞吐比 DDP 基线高 86%。这是训练吞吐,不是智能体任务通过率。
训推精度按生产级方案来做:训练、Prefill 和 Decode 可以各自选择并行配置,同时保持逐 token logprob 的 bitwise 一致。两端统一用 batch-invariant 算子,对齐框架计算逻辑,并补齐 backward。方案已在实验和生产任务中默认启用,作为算子和框架迭代的数值回归基准。社区方案上又扩展了张量并行 TP 和 DCP。TP 用完整 K 维计算代替分段求和:训练侧保留权重分片,通过权重 All-Gather 和输入 AlltoAll 独立做完整 K 维 GEMM,不对局部结果做 Reduce-Scatter 求和;Prefill 沿用该方案;Decode 把 o_proj/fc2 改成 column-parallel,用输入 All-Gather、完整 K 维 GEMM 和输出 AlltoAll,避免每步聚合完整权重,也避免跨卡数值求和。DCP 则在训练 forward 和推理 Prefill 中接入配套的 sparse attention,复现指定 DCP 配置下 Decode 的 KV 分块与归约顺序。
长上下文多轮 rollout 采用 PD 分离,从缓存、跨层卸载和请求调度三方面一起优化。Prefill 用 QCP 按 token 分配计算、KVP 按页分散存储,避免 MLA 下 TP 切分带来的 KV 冗余。HiCache 在 KV 回到显存后释放没有其他读取引用的主存副本。奇数层完整 KV 卸载到主存,显存只留小工作缓存;偶数层产出索引后,提前加载下一奇数层所需 KV,并与当前层后续计算重叠。原文说在 TPOT 无损的情况下,Decode KV 缓存容量接近翻倍。Router 按 L1+L2 缓存容量和请求 token 总量放行,并优先推进完成度较高的 Group,避免多条长轨迹互相淘汰前缀、引发大规模重算。所测长上下文负载上,Prefill/Decode 实例配比 3:2 性能最好。这句话限定在该负载,不能外推到所有流量。
W4A4 把专家权重和激活同时量化到 4 bit,用原生 INT4 矩阵乘法做相应计算。精度上以 FlatQuant 的可学习等价变换为基础,再优化 MoE 量化。原文只说已评测的各项下游任务与量化前相当,没有列出那些任务的名字,不能把后文榜单直接读成「量化前后分毫不差」。算子路径上,专家共享同一次输入变换,在 token 复制和分发之前完成量化,同一份 INT4 贯穿专家通信和计算。线上压测相对 W8A8 INT8 基线:prefill 吞吐提高 43.3%,decode 吞吐提高 42.77%,TTFT 降低 15.91%,TPOT 降低 19.72%。算子层面 GMM 相对 W8A8 平均 1.73 倍。指标看板的主图只有图片,下文不把图里的数改写成文字。GitHub 和 HuggingFace 均写着 Coming soon,这张表目前不能靠公开权重复跑。能力演示页写着演示素材即将放出,那些案例没有进入分数表。
默认采样,以及星号不能和自测横比
除另行说明外,LongCat-2.5 的全部结果使用 enable_thinking=on,temperature=1.0,top_p=0.95。其他模型带 * 的分数来自公开技术报告、博客或官方榜;不带 * 的是自测,仅供参考。表中的「-」是原文空缺,不是 0 分。ALE、FORTE、FORTE-MM 原文没有给全称,这里不补。对照列顺序固定为 LongCat-2.5、LongCat-2.0、GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8、Claude-Opus-5、GLM-5.3、kimi-k3、DeepSeek-V4.1-Flash。
代码智能体:三次平均只覆盖点名的基准
- Terminal Bench v4.0、Terminal Bench v2.1、Program Bench、NL2Repo 使用 Claude Code v2.1.280,max_seq_length=512K。其中只有 Terminal Bench v2.1 写明三次独立运行取平均。
- DeepSWE v1.1 使用 mini-swe-agent,temperature=1.0,top_p=0.95,max_seq_length=1M,三次独立运行取平均。
- SWE Atlas 的 Codebase QnA 和 Test Writing 使用 Claude Code v2.1.116,裁判是 Claude Opus 4.5,三次评判取多数票,结果再对三次运行取平均。Refactoring 不在这条脚注里,不能默认它用了同一套裁判。
| 基准 | LongCat-2.5 | LongCat-2.0 | GPT-5.5 | GPT-5.6-Sol | Claude-Opus-4.8 | Claude-Opus-5 | GLM-5.3 | kimi-k3 | DeepSeek-V4.1-Flash |
|---|---|---|---|---|---|---|---|---|---|
| Terminal Bench v2.1 | 88.4 | 70.8 | 83.2* | 88.8* | 74.6* | 89.1* | 88.2* | 88.3* | 90.6* |
| Terminal Bench v4.0 | 38.5 | 3.0 | - | 37.3* | 23.6* | 53.9* | 41.8* | 12.6* | 31.2* |
| Program Bench Almost Resolved | 25.5 | 2.5 | 13.5* | 23.0* | 16.5* | 37.0* | 19.0* | 17.5* | 20.3* |
| DeepSWE v1.1 | 64.6 | 9.7 | 67.0* | 72.7* | 59.0* | 68.8* | 66.9* | 67.5* | 74.2* |
| PaperBench | 82.1 | 45.2 | 80.0 | 83.3 | 72.9 | 79.1 | 73.7 | 77.5 | - |
| SWE Atlas Codebase QnA | 58.3 | 33.1 | 45.4* | 46.0* | 57.3* | 63.2* | 58.3 | 54.3 | 55.2 |
| SWE Atlas Refactoring | 55.2 | 35.7 | 44.8 | - | 46.7 | 51.9 | - | 49.5 | 56.7 |
| SWE Atlas Test Writing | 47.8 | 28.0 | 42.6 | 45.9 | 49.6 | 62.2 | 42.2 | 42.2 | 48.9 |
| NL2Repo | 60.5 | 40.9 | - | 56.8* | 69.7* | 75.3* | 58.0* | 58.0* | 65.4* |
| LongCat AppDev Internal | 73.7 | 47.7 | - | 68.8 | - | 76.4 | 73.5 | 75.1 | - |
相对 LongCat-2.0,Terminal Bench v2.1 从 70.8 到 88.4,v4.0 从 3.0 到 38.5,DeepSWE v1.1 从 9.7 到 64.6,PaperBench 从 45.2 到 82.1。这组对照里,v4.0 上 Claude-Opus-5 的公开分是 53.9,高于 38.5;DeepSWE 上 DeepSeek-V4.1-Flash 的公开分 74.2、GPT-5.6-Sol 的 72.7,都高于 64.6;NL2Repo 上 Claude-Opus-5 的公开分 75.3,高于 60.5。带星号的列不是同一套自测脚本跑出来的。LongCat AppDev Internal 是内部基准。PaperBench 没有单独脚注,只受默认采样约束。
通用智能体:温度并不全都是 1.0
- BrowseComp 使用自定义轻量 harness,包含 Verify 和 Discard-All。Discard-All 阈值 256K,探索最多 1024 轮,工具只有 search 和 browse_with_goal。
- HLE w/ tools 只用文本子集,Claude Code v2.1.116,最长生成 256K token。
- MCP Atlas 的 reasoning effort 设为 max,temperature=0.7,top_p=0.95,上下文 256K。这里的温度和默认的 1.0 不同。
- AutomationBench 公开版 v1.0.6 使用全部 600 道公开题和官方评测代码,temperature=1.0,top_p=0.95。
- JobBench 取 Main 65,Claude Code v2.1.280。评分按官方 LLM-as-judge,对提交物做链式量规,裁判是 gemini-3.6-flash,temperature=1.0,top_p=0.95,思考打开。
- SpreadsheetBench 2 使用 Claude Code v2.1.116,按该基准的官方协议计分。可视化子集由 gemini-3.6-flash 评判。图表在 Linux 上用 headless LibreOffice 做 UNO 对象级导出,失败则退到纯 Python 的 OOXML/Pillow。
- SkillsBench v1.1 共 87 题,使用 Codex harness,temperature=1.0,top_p=0.95,top_k=-1。
| 基准 | LongCat-2.5 | LongCat-2.0 | GPT-5.5 | GPT-5.6-Sol | Claude-Opus-4.8 | Claude-Opus-5 | GLM-5.3 | kimi-k3 | DeepSeek-V4.1-Flash |
|---|---|---|---|---|---|---|---|---|---|
| BrowseComp | 91.9 | 79.9 | 84.4* | 90.4* | 84.3* | 90.8* | 81.0 | 91.2* | 91.5 |
| AutomationBench v1.0.6 | 51.8 | 15.8 | 39.7 | 45.8* | 41.0* | 50.3* | 48.2* | 46.7* | 54.8* |
| HLE w/ tools | 63.1 | 37.5 | 52.2 | 58.0* | 57.9* | 64.7* | 62.5* | 56.0* | 63.9* |
| ALE v1.1 | 38.5 | - | - | 30.3* | - | - | 26.2* | 35.2* | - |
| ResearchRubrics | 81.0 | 71.9 | - | 74.2 | - | 72.9 | 79.9 | 78.8 | 80.9 |
| MCP Atlas | 83.1 | 61.8 | 75.3* | 81.8* | 82.2* | 85.8* | 84.2* | 84.2* | 84.4 |
| JobBench | 65.4 | 44.4 | 38.3* | 45.4* | 48.4* | 66.7* | 61.4* | 52.9* | 63.2 |
| SkillsBench | 63.3 | 36.8 | 62.6* | 54.1* | 59.2* | 60.4* | 52.9 | - | 69.8* |
| GDPVal-AA rubrics | 84.8 | 72.9 | - | - | - | 87.7 | 87.7 | 86.6 | 86.8 |
| FrontierScience | 77.0 | 66.0 | - | - | - | 78.0 | 75.0 | 70.0 | 73.0 |
| SpreadsheetBench 2 | 34.9 | 24.1 | 30.2 | 33.3 | - | 33.0 | 35.8 | 34.8* | 33.0 |
| FinSearchComp T3 | 63.4 | 42.4 | 62.2 | 62.2 | - | 64.0 | 62.2 | 64.0 | 64.3 |
| Claw-Eval Pass^3 | 78.3 | 67.1 | - | 79.5 | 82.0 | 80.8 | 73.9 | 73.9 | - |
| LongCatClawBench FORTE | 83.3 | 72.2 | 80.7 | 80.6 | 80.6 | 82.6 | 85.6 | 86.3 | 73.5 |
ResearchRubrics、GDPVal-AA rubrics、FrontierScience、FinSearchComp T3、Claw-Eval Pass^3、LongCatClawBench FORTE 没有单独脚注,只受文首默认采样约束。Pass^3 是基准名称的一部分,原文没有解释它是三次都通过还是别的聚合方式。MCP Atlas 上 Claude-Opus-5 的公开分 85.8 高于自测 83.1;SkillsBench 上 DeepSeek-V4.1-Flash 的公开分 69.8 高于 63.3;AutomationBench 上 DeepSeek 的公开分 54.8 高于 51.8。JobBench 从 LongCat-2.0 的 44.4 到 65.4,但仍低于 Claude-Opus-5 的公开分 66.7。LongCatClawBench 是自有基准,GLM-5.3 自测 85.6、kimi-k3 自测 86.3,都高于 83.3。
视觉任务:2.0 这一列是空的
- Vision2Web 使用 Claude Code v2.1.7,temperature=1.0,top_p=0.95,top_k=50,序列长度 256K。
- VideoMME 每个视频最多采样 2048 帧,采样率 1 fps,每帧最多 256 token,思考模式打开。提示要求直接用选项字母作答,并且只能回答 A、B、C、D 中的一个字母。
- CharXiv-RQ(带工具)和 MathVision(带工具)使用 temperature=1.0、top_p=0.95,最长生成 131972 token。
| 基准 | LongCat-2.5 | LongCat-2.0 | GPT-5.5 | GPT-5.6-Sol | Claude-Opus-4.8 | Claude-Opus-5 | GLM-5.3 | kimi-k3 | DeepSeek-V4.1-Flash |
|---|---|---|---|---|---|---|---|---|---|
| 3DCodeBench Text→3D | 55.4 | - | 51.9 | 52.3 | 52.7 | 54.3 | 53.4 | 49.3 | 53.3 |
| Vision2Web | 78.6 | - | 74.6 | 73.5* | 76.1* | 80.2* | 77.8* | 79.0* | 79.2 |
| CharXiv-RQ w/ tools | 90.2 | - | 89.0* | 89.1* | 89.9* | 89.3* | - | 91.3* | 87.7 |
| MathVision w/ tools | 96.5 | - | 96.8* | 97.8* | 97.1* | - | - | 97.8* | 97.4 |
| VideoMME | 85.2 | - | - | 89.5* | 86.0* | - | - | 90.0* | - |
| PosterBench | 77.4 | - | - | - | 82.3 | - | 82.4 | 76.8 | 75.3 |
| LongCatClawBench-MM FORTE-MM | 72.1 | - | 63.5 | 73.2 | 69.9 | 73.1 | 69.0 | 70.7 | 72.8 |
LongCat-2.0 在整组视觉行都是空的,不能写成视觉相对 2.0 提升了多少。Vision2Web 的 78.6 低于 Claude-Opus-5 的公开分 80.2,也低于 kimi-k3 的公开分 79.0 和 DeepSeek 的自测 79.2。VideoMME 的 85.2 低于 GPT-5.6-Sol 的公开分 89.5 和 kimi-k3 的公开分 90.0。MathVision 带工具为 96.5,低于多份带星号的 97 以上分数。3DCodeBench、PosterBench、LongCatClawBench-MM 没有单独脚注。
这些数字不能被读成什么
星号分和自测分不能并成同一次实验。内部基准 LongCat AppDev Internal、LongCatClawBench 及其多模态版本不能外推成公开榜排名。量化一节只说「已评测下游任务与量化前相当」,任务名没有列出。P/D 实例比 3:2 只对所测长上下文负载。86% 是长序列 SFT 相对 DDP 的单卡吞吐,不是任务通过率。主图里的对比没有在正文里逐项抄出。权重页仍是 Coming soon。假阳性修正、惩罚系数、前缀切分长度和 scaffold 混合比例都没有公开数字。美团技术团队站点在 2026 年 11 月 2 日发过同一发布的中文镜像,分数和协议以 11 月 1 日这篇更早的官网原文为准。
美团,LongCat 团队,LongCat-2.5 Native Multimodality for Agentic Tasks,2026-11-01,https://longcat.ai/blog/longcat-2.5
觉得有用,转给同事
微信扫码
用微信扫一扫,在手机上打开后即可转发。