FP4 不能只看能不能跑：五模型对照评量化精度

FP4 不能只看能不能跑：腾讯用五模型对照评量化后的精度

腾讯与上海交通大学在 2026 年 8 月 3 日提交的论文评的是 FP4 后训练量化（PTQ，post-training quantization，权重冻结、只在小校准集上学量化参数）之后，模型还剩多少精度。格式是两种已有硬件格点：MXFP4 和 NVFP4。方法名叫 FOCUS，全称是用耦合松弛和双粒度缩放做 FP4 尺度优化。作者认为现有做法把量化尺度和反量化尺度绑死，两边都得落进硬件要求的低精度格式，例如 MXFP4 的 E8M0。量化尺度推理时并不保存，本来不必服从这个约束。

部署时只留下 FP4 权重和反量化尺度，量化尺度和松弛系数全部丢掉，所以论文把「没有额外推理开销、仍然是标准 MXFP4/NVFP4」写成和精度并列的验收条件。不靠 Hadamard 变换。作者另外做了融合实验：把变换融进相邻层再重新量化，精度低于在线计算变换；不融合则每一层线性都要在推理时多付变换成本，也进不了主流推理框架。FOCUS 只动尺度空间，不改模型结构。

校准和评测协议

全部实验在单张 NVIDIA H20 上，用 PyTorch 和 Hugging Face Transformers。训练目标沿用 KL-Top loss，k = 1000。所有线性层的权重和激活都量化到 FP4。优化器是 AdamW，常数学习率。MXFP4 上，块尺度学习率 2×10⁻²，松弛系数 5×10⁻²。NVFP4 上对应是 5×10⁻³ 和 1×10⁻³。训练 1 个 epoch，全局 batch 32，校准语料是 WikiText2 训练集的 1,248 条，序列长度 2,048。

两种格式的硬件块不一样。NVFP4 块大小 B = 16，先有一个张量级 FP32 全局尺度，再有每块的 FP8（E4M3）尺度，有效尺度是两者相乘。MXFP4 按 OCP Microscaling，块大小 B = 32，每块一个 E8M0 尺度，只编码 2 的幂，更粗，也更难优化。双粒度缩放把 MXFP4 的 32 元块分成 4 个 8 元子块，把 NVFP4 的 16 元块分成 2 个 8 元子块。子块系数只作用在量化尺度上，反量化尺度仍整块共享。子块数 K = 1 时，双粒度退回耦合松弛。

模型五件：Qwen3-4B、Qwen3-8B、LLaMA-3.2-1B-Instruct、LLaMA-3.2-3B-Instruct、LLaMA-3.1-8B-Instruct。语言建模看 WikiText2 和 C4 的困惑度，序列长度同样 2,048，越低越好。零样本准确率是五项常识推理的平均：ARC-Challenge、ARC-Easy、HellaSwag、PIQA、Winogrande。推理再单列 MXFP4 下的 GSM8K 和 MMLU，都走思维链（CoT）。对照在两种格式上都有 RTN（四舍五入到最近）、GPTQ 和 MR-GPTQ。NVFP4 另加当时该格式上的 4over6 和 RaZeR。表里的最好和次好都不把 FP16 算进去。

语言建模和零样本：平均几乎都第一，单元格不是

Qwen3 上，FP16 的零样本平均是 4B 为 68.25%、8B 为 71.54%。FOCUS 的零样本平均：

• Qwen3-4B MXFP4 65.65%，相当于 FP16 的 96.2%；NVFP4 67.05%，相当于 98.2%。
• Qwen3-8B MXFP4 69.39%；NVFP4 71.37%，相当于 FP16 71.54% 的 99.8%。同格式 RaZeR 是 70.54%。MXFP4 上 FOCUS 比 MR-GPTQ 的平均准确率高约 1.0 个百分点（68.39 到 69.39）。

WikiText2 困惑度，Qwen3-8B 的 FP16 是 9.73，FOCUS 在 MXFP4 为 9.76、NVFP4 为 9.47。Qwen3-4B 的 FP16 WikiText2 是 13.66，FOCUS 在 MXFP4 为 12.85、NVFP4 为 12.57，两项都低于 FP16。论文把这写成绝大多数设置里困惑度最低，并说 MXFP4 上相对 MR-GPTQ 大约低 1.5 到 2.5。Qwen3-4B MXFP4 的对照是 RTN 18.60、GPTQ 16.85、MR-GPTQ 15.48、FOCUS 12.85。不能把「低于 FP16 的困惑度」读成量化模型全面强于全精度，零样本平均仍然低于 FP16。

LLaMA 的零样本平均，FOCUS 也是各模型、各格式里最高或并列最高的一档，但不是每个单元格都第一。例如 LLaMA-3.1-8B-Instruct 的 MXFP4 WikiText2，MR-GPTQ 是 8.37，FOCUS 是 8.40；零样本平均则是 FOCUS 71.88，高于 MR-GPTQ 的 71.08，FP16 为 74.00。LLaMA-3.2-1B NVFP4 的 WikiText2，RaZeR 14.79，FOCUS 14.83。NVFP4 零样本平均：1B 为 58.06（FP16 59.93），3B 为 66.18（FP16 66.95），8B 为 72.45（FP16 74.00）。

思维链掉得更狠，消融说明增益从哪来

表 3 只做了 MXFP4 的 CoT，而且只覆盖两颗 LLaMA，没有 Qwen。LLaMA-3.2-3B-Instruct：FP16 的 GSM8K 77.86、MMLU 64.57；RTN 55.42 / 53.96；GPTQ 51.10 / 51.60；MR-GPTQ 60.20 / 55.16；FOCUS 64.14 / 59.09。LLaMA-3.1-8B-Instruct：FP16 85.67 / 72.71；FOCUS 73.31 / 65.53，比 MR-GPTQ 的 72.40 / 63.39 高 0.9 和 2.1 个百分点。3B 上两项大约都比 MR-GPTQ 高 4 个百分点。论文明确说，相对困惑度和零样本，多步推理对量化噪声更敏感。

消融在 Qwen3-4B 上逐项加（表 4）。NVFP4 零样本平均：RTN 65.58，只学尺度的基线 65.92，加耦合松弛 66.91，再加双粒度 67.05。MXFP4：RTN 的 WikiText2 从 18.60 降到基线 12.96，零样本从 62.35 到 64.69；加耦合松弛后 WikiText2 略回到 12.99，零样本 64.81；再加双粒度才到 WikiText2 12.85、零样本 65.65。完整方法相对只学尺度的基线，NVFP4 和 MXFP4 的零样本平均分别高 1.13 和 0.96 个百分点。耦合松弛在 NVFP4 上把零样本最多再抬约 1.0 个百分点，但不是每一项中间指标都单调。

子块大小（表 5，仍是 Qwen3-4B）：子块等于原生块时就是耦合松弛。MXFP4 从 32 收到 16，零样本平均 64.81 到 65.65；再收到 8 仍是 65.65，收到 4 掉到 64.94。NVFP4 子块 8 和 4 的零样本都是 67.05，收到 2 降到 66.94。作者因此两种格式都用子块 8，用来平衡精度和校准期的可训练参数量。这些系数校准后丢弃。

量化耗时（表 6，单张 H20）：Qwen3-4B 上 MR-GPTQ 45 GB、29 分钟，FOCUS 77 GB、19 分钟；Qwen3-8B 上 MR-GPTQ 62 GB、40 分钟，FOCUS 85 GB、29 分钟。时间大约少 34% 和 28%，显存更高，因为要存可学习系数和优化器状态。MR-GPTQ 的耗时来自 GPTQ 重建、在线 Hadamard、激活重排和基于 MSE 的尺度搜索；FOCUS 用普通前后向一次优化全部尺度，不做逐层迭代。

不能读成什么

五项零样本的「平均第一」不等于五项各自第一。困惑度偶尔低于 FP16，零样本和 CoT 仍低于 FP16。CoT 表没有覆盖 Qwen，也没有做 NVFP4。校准只用 WikiText2 的 1,248 条，评测集和校准分布不是一回事，论文没有报校准集和下游集的污染检查。没有额外推理开销指的是部署格式回到标准 FP4、不留额外变换，不是说量化模型比 FP16 更快这一项被单独测成倍数。和基于变换的方法能否叠加，正文只指向附录，主表没有给出叠加后的数字。

出处：腾讯，Xianglong Yan、Hong Liu、Chengzhu Bao、Tianao Zhang、Guanghua Yu、Jianchen Zhu、Yulun Zhang，FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling，2026-08-03，https://arxiv.org/abs/2608.01847