Not translated yet — showing the Chinese originals.

Industry & Practice · Tagged “稀疏注意力”

Research & Benchmarks2026-09-088 min
几何平均快 1.55 倍，但短行采样会输：腾讯怎么测精确 Top-K
腾讯 HPC-Ops 在 Hy4-Preview 的 FP32 索引分数上测精确 Top-K，K=2048。20 个形状都通过集合合同，相对最快外部精确实现几何平均 1.55 倍。245K 轨迹 1.36 倍，430K 为 1.48 倍。16K 和 24K 行上精确提议全胜，采样不是默认都该开。
Research & Benchmarks2026-08-078 min
128K 首 token 快 2.53 倍：腾讯用两个基准测 CoSA
腾讯的 CoSA 只稀疏预填充。Qwen3-8B 在 RULER 上平均 88.65，全量是 89.20，预算从 100% 降到 22%。LongBench-v2 平均 36.51 对 37.48，预算 15%。128K 上注意力 4.93 倍，首 token 2.53 倍。核内跳过会先掉分，页重排再拉回。