Industry & Practice · Tagged “CoSA”

Research & Benchmarks/2026-08-07/8 min

128K 首 token 快 2.53 倍：腾讯用两个基准测 CoSA

腾讯的 CoSA 只稀疏预填充。Qwen3-8B 在 RULER 上平均 88.65，全量是 89.20，预算从 100% 降到 22%。LongBench-v2 平均 36.51 对 37.48，预算 15%。128K 上注意力 4.93 倍，首 token 2.53 倍。核内跳过会先掉分，页重排再拉回。