大模型原理与训练 / 系统课时

选择 FP16、BF16 与 FP8

选择 FP16、BF16 与 FP8

部署大模型时,计算精度会同时影响显存、吞吐和数值稳定性。本篇把 FP16、BF16 与 FP8 放到同一套判断框架中:先看数值格式,再核对 GPU 与推理引擎支持,最后用显存、延迟和质量基准决定默认精度。

学习目标

  • 说清 FP16、BF16 与 FP8 在数值范围、精度和存储成本上的核心差异。
  • 根据 GPU 能力、模型支持和推理引擎内核选择默认计算精度。
  • 避免把“位宽更低”直接等同于“端到端显存减半或吞吐翻倍”。

三种精度真正差在哪里

三者都属于浮点格式,但指数位和尾数位的分配不同。指数位决定可表示的数量级范围,尾数位决定同一数量级内能分得多细。推理时最重要的不是“位数越少越快”,而是模型数值分布能否被格式安全覆盖,以及硬件有没有对应的高吞吐内核。

格式 常见位分配 单元素存储 数值特征 推理中的典型定位
FP16 1 符号 + 5 指数 + 10 尾数 2 字节 尾数较细,但动态范围明显小于 BF16 兼容面广,适合已有 FP16 权重与成熟内核
BF16 1 符号 + 8 指数 + 7 尾数 2 字节 指数范围接近 FP32,较不易因大数溢出 新一代 GPU 上常见的稳妥默认值
FP8 常见 E4M3、E5M2 等格式 1 字节 范围与精度更低,通常依赖缩放因子 在模型与内核明确支持时追求更高吞吐和更低权重/激活带宽

FP16 的最大有限值约为 65504;BF16 虽然也是 16 位,但保留了 8 位指数,因此动态范围远大于 FP16。FP8 不能只看“8 位”这个名字,不同格式的指数与尾数分配不同,而且工程实现通常还会为张量或通道维护缩放信息。

把硬件支持放进选择顺序

精度选择应按“硬件能算 → 引擎有内核 → 模型允许 → 基准收益成立”的顺序收敛。FP16 Tensor Core 支持最成熟;BF16 在较新的数据中心和消费级 GPU 上已很常见;FP8 的高吞吐路径主要依赖更新一代的 Tensor Core、对应驱动与推理框架,并不是所有写着 FP8 的模型都能在任意 GPU 上获得收益。

还要区分计算精度与存储精度。模型权重可以是 FP8,而部分归一化、累加或输出仍以 BF16/FP16 计算;KV Cache 也可能单独选择其他数据类型。因此不能用“权重从 16 位变 8 位”直接推导整个服务显存减半。

用一个最小决策器固化默认策略

下面的 Python 程序不依赖 GPU 库,只把部署时最关键的能力条件显式化。实际项目中,可把这些布尔值替换为设备探测与模型元数据检查。

python
from dataclasses import dataclass

@dataclass
class DeviceCaps:
    fp16: bool
    bf16: bool
    fp8: bool

def choose_precision(caps: DeviceCaps, model_fp8_ready: bool) -> str:
    # FP8 只有在硬件和模型都明确就绪时才作为首选。
    if caps.fp8 and model_fp8_ready:
        return 'FP8'
    if caps.bf16:
        return 'BF16'
    if caps.fp16:
        return 'FP16'
    raise RuntimeError('No supported inference precision')

cases = [
    ('new-gpu', DeviceCaps(True, True, True), True),
    ('bf16-gpu', DeviceCaps(True, True, False), False),
    ('legacy-tensor-core', DeviceCaps(True, False, False), False),
]

for name, caps, fp8_ready in cases:
    print(f'{name}: {choose_precision(caps, fp8_ready)}')

预期输出

text
new-gpu: FP8
bf16-gpu: BF16
legacy-tensor-core: FP16

这个决策器故意没有把 FP16 放在 BF16 前面。对多数新部署,如果模型没有特殊要求,BF16 的动态范围更宽,通常比 FP16 更省心;只有硬件不支持 BF16、已有模型链路固定为 FP16,或实测 FP16 明显更合适时,再把 FP16 作为默认值。

用基准而不是峰值算力做最后决定

最终验收至少看四项:模型常驻显存、固定批量下的吞吐、目标并发下的 P50/P99 延迟,以及一组能暴露精度退化的质量样本。Tensor Core 峰值只是上限;端到端服务还会受到显存带宽、KV Cache、批处理策略、算子融合和请求长度分布限制。

如果 FP8 的吞吐提升很小,却引入额外校准、缩放管理或质量回归,BF16 往往是更好的生产默认值。反之,当目标 GPU 对 FP8 有原生高吞吐支持,模型也提供经过验证的 FP8 路径,并且质量基准通过,就可以把 FP8 作为优先方案。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择 FP16、BF16 与 FP8

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通