大模型原理与训练 / 系统课时

用半精度降低推理成本

用半精度降低推理成本

半精度优化的目标不是“把 dtype 改小”就结束,而是同时确认硬件支持、显存收益和输出可接受。本节用同一模型依次测试 fp32、fp16 与 bf16,比较峰值显存并用确定性生成检查输出是否发生变化。

学习目标

  • 根据硬件能力选择 fp16 或 bf16
  • 直接以半精度加载权重并测量峰值显存
  • 用确定性输出与任务指标验证低精度带来的质量变化

先决定用 fp16 还是 bf16

fp16 和 bf16 都用 16 bit 表示浮点数,模型参数本身通常比 fp32 少占约一半存储,但整个推理峰值不会严格减半,因为还包含 KV cache、激活和临时工作区。

精度 适合场景 主要边界
fp32 作为数值与质量基线 显存和带宽成本最高
fp16 CUDA 推理中常见的低精度路径 数值范围比 bf16 窄,个别模型或算子可能更敏感
bf16 硬件支持且希望保留更大数值范围 并非所有 GPU 都支持,速度收益也取决于硬件

不能只凭 GPU 型号猜 bf16 支持情况。PyTorch 提供 torch.cuda.is_bf16_supported() 做运行时检测;若返回 False,应跳过 bf16,而不是强行加载后再把报错当成模型问题。

对比显存与确定性输出

下面脚本在同一张 CUDA GPU 上分别加载 fp32、fp16 和可用时的 bf16。它使用贪心解码关闭随机采样,因此可以直接比较生成文本是否与 fp32 完全一致。在 from_pretrained() 中显式指定加载精度,可以避免先按 fp32 完整加载后再整体转换。

python
import gc

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_ID = "gpt2"
PROMPT = "Transformers inference can be optimized by"
MAX_NEW_TOKENS = 24

if not torch.cuda.is_available():
    raise SystemExit("This example requires a CUDA GPU.")

tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
inputs = tokenizer(PROMPT, return_tensors="pt").to("cuda")

def run(dtype):
    gc.collect()
    torch.cuda.empty_cache()
    torch.cuda.reset_peak_memory_stats()

    model = AutoModelForCausalLM.from_pretrained(
        MODEL_ID,
        torch_dtype=dtype,
    ).to("cuda").eval()

    with torch.inference_mode():
        output_ids = model.generate(
            **inputs,
            max_new_tokens=MAX_NEW_TOKENS,
            do_sample=False,
            use_cache=True,
            pad_token_id=tokenizer.eos_token_id,
        )

    torch.cuda.synchronize()
    peak_mib = torch.cuda.max_memory_allocated() / 1024**2
    text = tokenizer.decode(output_ids[0], skip_special_tokens=True)

    del output_ids, model
    gc.collect()
    torch.cuda.empty_cache()
    return peak_mib, text

baseline_peak, baseline_text = run(torch.float32)
print(f"fp32 peak_mib={baseline_peak:.1f} exact_match_fp32=True")

for name, dtype in [("fp16", torch.float16), ("bf16", torch.bfloat16)]:
    if name == "bf16" and not torch.cuda.is_bf16_supported():
        print("bf16 skipped: hardware not supported")
        continue

    peak, text = run(dtype)
    print(
        f"{name} peak_mib={peak:.1f} "
        f"exact_match_fp32={text == baseline_text}"
    )

预期输出

text
fp32 peak_mib=<MEMORY> exact_match_fp32=True
fp16 peak_mib=<MEMORY> exact_match_fp32=<BOOL>
bf16 peak_mib=<MEMORY> exact_match_fp32=<BOOL>

若当前 GPU 不支持 bf16,最后一行会改为:

text
bf16 skipped: hardware not supported

<MEMORY> 与 <BOOL> 取决于硬件、软件版本和实际计算路径。PyTorch 的峰值显存统计可通过重置峰值计数后读取 max_memory_allocated() 获得,因此每个精度必须单独重置再测。

质量验证不能停在 exact match

贪心输出完全一致是一个很强的快速信号,但“不一致”并不自动等于质量下降。半精度可能只改变极小的 logits 排序,最终影响某个 token;真实项目应在固定验证集上比较任务指标,例如分类准确率、摘要 ROUGE、生成任务的人工评分或业务规则通过率。

遇到不支持或收益不明显时

如果 fp16/bf16 加载失败,先确认模型算子和 GPU 对该 dtype 的支持,再检查是否有部分模块被强制保留为 fp32。bf16 应以 torch.cuda.is_bf16_supported() 的结果为准。

如果参数显存明显下降但峰值显存变化不大,通常说明 KV cache、激活或临时缓冲占比已经很高;此时继续优化应转向缩短上下文、限制生成长度、减小 batch,或进一步评估量化,而不是期待半精度把所有显存都减半。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用半精度降低推理成本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通