128K 首 token 快 2.53 倍：腾讯用两个基准测 CoSA

128K 首 token 快 2.53 倍：腾讯用两个基准测 CoSA

CoSA（代理和核一起设计的块稀疏注意力）来自腾讯与香港科技大学。一作 Yufei Xue 在腾讯实习，通讯作者是 Guanghua Yu 和 Jun Zhang。许可证为 CC BY 4.0。arXiv 初稿是 2026-07-28，这里依据的 v2 修订日是 2026-08-07。代码在 https://github.com/Tencent/AngelSlim 。

它不改解码。只把预填充阶段的注意力改成两段：核感知代理先在较宽预算下选出有序的块；有序跳过核再按在线 softmax 收紧预算。对照是全量注意力 FlashAttention-2，以及 MInference、FlexPrefill、XAttention。骨干是 Qwen3-8B 和 Llama-3.1-8B-Instruct。Qwen 用推荐采样，任务需要时开思考，必要时用 YaRN 把上下文扩到 128K。

准确率和预算分开报

RULER 是合成任务，长度从 4K 到 128K。LongBench-v2 是真实长文理解，分直接作答和带思维链。预算 B 越低越省。稀疏只发生在预填充，解码仍是稠密。Qwen 第一阶段 Top-p 固定 0.95，长度自适应阈值的系数 Δ 设为 2000。Llama 的 p 用离线表。

表 1 的顺序是 4K、8K、16K、32K、64K、128K、平均、预算。Qwen3-8B 全量平均 89.20、预算 100%；CoSA 88.65、预算 22%。同表稀疏方法里这是最高平均、最低预算。128K 上全量 75.30，CoSA 73.84，MInference 70.09，FlexPrefill 71.68，XAttention 70.12。4K 上全量 95.46，CoSA 95.25，没有在每个长度都第一。

Llama-3.1-8B-Instruct 全量平均 88.97、预算 100%；CoSA 88.41、预算 22%。MInference 平均 88.05 但预算 47%，FlexPrefill 87.98、预算 29%，XAttention 87.90、预算 33%。128K 上全量 73.84，CoSA 71.82，FlexPrefill 71.58。4K 上 XAttention 96.23 高于全量的 96.10，CoSA 是 95.73。

表 2 是 LongBench-v2，列顺序是不思考的易/难、思考的易/难、平均、预算。Qwen 全量 39.19、32.72、44.53、36.82，平均 37.48，预算 100%。CoSA 是 37.24、31.11、45.83、35.69，平均 36.51，预算 15%。思考的易题上 CoSA 45.83 高于全量 44.53。MInference、FlexPrefill、XAttention 的平均是 34.49、33.90、33.20，预算 28%、20%、18%。

Llama 全量平均 29.67、预算 100%。CoSA 平均 30.96、预算 17%，高于全量，也高于 MInference 的 30.72。易题不思考时 CoSA 33.98，高于全量 31.64；思考的易题是 30.99，低于全量 32.29。平均更高不表示四格都更高。

速度：4K 注意力 1.11 倍，128K 是 4.93 倍

注意力加速按层、多次运行取平均，图 5 没有逐点表。正文写明的两端是：4K 上 CoSA 为 1.11 倍，是唯一超过全量的方法；128K 上到 4.93 倍，每个测过的长度都领先。最弱基线要到 64K 才超过全量。

首 token 时间在 4K 没有退步，128K 是 2.53 倍，仍领先各基线。中间长度的倍数正文没有列出。显卡型号正文没有写。

消融：跳过先掉分，重排再拉回来

表 3 只看 LongBench-v2 不思考的平均。Qwen 从朴素掩码跳过的 32.71、预算 22% 开始。换成核感知代理后到 33.27、预算 20%。再加上核内跳过，掉到 32.27、预算 16%。最后做 KV 页重排，回到 33.45、预算 15%。Llama 四步是 27.83/35%、29.67/39%、28.88/24%、30.86/17%。核内跳过会先伤准确率，重排把它补上，同时把预算降下来。

另用 128 条随机 LongBench-v2 样本看困惑度和跳过比例。Δ 变小，困惑度平滑、单调地靠近不跳过的点。第一阶段预算从 54% 扫到 28%，重排都把曲线推向更低困惑度、更低预算的一侧。图上没有逐点读数。总预算等于第一阶段预算减去核内跳过比例。Δ 为 -1 表示不做核内跳过。

限制

只稀疏预填充，解码仍是全量，所以长生成的后半段不在加速范围内。速度图没有给出 4K 和 128K 之间的注意力倍数和首 token 倍数。RULER 上 CoSA 平均接近全量，但不是每一档都更高。LongBench 的平均领先，不代表易题和难题、开不开思考都同时领先。消融里的不思考平均和表 2 含思考的平均不是同一个口径。Δ 和 p 按模型分开设，Qwen 的 2000 和 0.95 没有在正文里做网格搜索。

腾讯，Yufei Xue、Lin Niu 等，CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention，2026-08-07，https://arxiv.org/abs/2607.25291