大模型原理与训练 / 系统课时
选择 FP16、BF16 与 FP8
选择 FP16、BF16 与 FP8
部署大模型时,计算精度会同时影响显存、吞吐和数值稳定性。本篇把 FP16、BF16 与 FP8 放到同一套判断框架中:先看数值格式,再核对 GPU 与推理引擎支持,最后用显存、延迟和质量基准决定默认精度。
学习目标
- 说清 FP16、BF16 与 FP8 在数值范围、精度和存储成本上的核心差异。
- 根据 GPU 能力、模型支持和推理引擎内核选择默认计算精度。
- 避免把“位宽更低”直接等同于“端到端显存减半或吞吐翻倍”。
三种精度真正差在哪里
三者都属于浮点格式,但指数位和尾数位的分配不同。指数位决定可表示的数量级范围,尾数位决定同一数量级内能分得多细。推理时最重要的不是“位数越少越快”,而是模型数值分布能否被格式安全覆盖,以及硬件有没有对应的高吞吐内核。
| 格式 | 常见位分配 | 单元素存储 | 数值特征 | 推理中的典型定位 |
|---|---|---|---|---|
| FP16 | 1 符号 + 5 指数 + 10 尾数 | 2 字节 | 尾数较细,但动态范围明显小于 BF16 | 兼容面广,适合已有 FP16 权重与成熟内核 |
| BF16 | 1 符号 + 8 指数 + 7 尾数 | 2 字节 | 指数范围接近 FP32,较不易因大数溢出 | 新一代 GPU 上常见的稳妥默认值 |
| FP8 | 常见 E4M3、E5M2 等格式 | 1 字节 | 范围与精度更低,通常依赖缩放因子 | 在模型与内核明确支持时追求更高吞吐和更低权重/激活带宽 |
FP16 的最大有限值约为 65504;BF16 虽然也是 16 位,但保留了 8 位指数,因此动态范围远大于 FP16。FP8 不能只看“8 位”这个名字,不同格式的指数与尾数分配不同,而且工程实现通常还会为张量或通道维护缩放信息。
把硬件支持放进选择顺序
精度选择应按“硬件能算 → 引擎有内核 → 模型允许 → 基准收益成立”的顺序收敛。FP16 Tensor Core 支持最成熟;BF16 在较新的数据中心和消费级 GPU 上已很常见;FP8 的高吞吐路径主要依赖更新一代的 Tensor Core、对应驱动与推理框架,并不是所有写着 FP8 的模型都能在任意 GPU 上获得收益。
还要区分计算精度与存储精度。模型权重可以是 FP8,而部分归一化、累加或输出仍以 BF16/FP16 计算;KV Cache 也可能单独选择其他数据类型。因此不能用“权重从 16 位变 8 位”直接推导整个服务显存减半。
用一个最小决策器固化默认策略
下面的 Python 程序不依赖 GPU 库,只把部署时最关键的能力条件显式化。实际项目中,可把这些布尔值替换为设备探测与模型元数据检查。
from dataclasses import dataclass
@dataclass
class DeviceCaps:
fp16: bool
bf16: bool
fp8: bool
def choose_precision(caps: DeviceCaps, model_fp8_ready: bool) -> str:
# FP8 只有在硬件和模型都明确就绪时才作为首选。
if caps.fp8 and model_fp8_ready:
return 'FP8'
if caps.bf16:
return 'BF16'
if caps.fp16:
return 'FP16'
raise RuntimeError('No supported inference precision')
cases = [
('new-gpu', DeviceCaps(True, True, True), True),
('bf16-gpu', DeviceCaps(True, True, False), False),
('legacy-tensor-core', DeviceCaps(True, False, False), False),
]
for name, caps, fp8_ready in cases:
print(f'{name}: {choose_precision(caps, fp8_ready)}')预期输出
new-gpu: FP8
bf16-gpu: BF16
legacy-tensor-core: FP16这个决策器故意没有把 FP16 放在 BF16 前面。对多数新部署,如果模型没有特殊要求,BF16 的动态范围更宽,通常比 FP16 更省心;只有硬件不支持 BF16、已有模型链路固定为 FP16,或实测 FP16 明显更合适时,再把 FP16 作为默认值。
用基准而不是峰值算力做最后决定
最终验收至少看四项:模型常驻显存、固定批量下的吞吐、目标并发下的 P50/P99 延迟,以及一组能暴露精度退化的质量样本。Tensor Core 峰值只是上限;端到端服务还会受到显存带宽、KV Cache、批处理策略、算子融合和请求长度分布限制。
如果 FP8 的吞吐提升很小,却引入额外校准、缩放管理或质量回归,BF16 往往是更好的生产默认值。反之,当目标 GPU 对 FP8 有原生高吞吐支持,模型也提供经过验证的 FP8 路径,并且质量基准通过,就可以把 FP8 作为优先方案。