大模型原理与训练 / 系统课时
用半精度降低推理成本
用半精度降低推理成本
半精度优化的目标不是“把 dtype 改小”就结束,而是同时确认硬件支持、显存收益和输出可接受。本节用同一模型依次测试 fp32、fp16 与 bf16,比较峰值显存并用确定性生成检查输出是否发生变化。
学习目标
- 根据硬件能力选择 fp16 或 bf16
- 直接以半精度加载权重并测量峰值显存
- 用确定性输出与任务指标验证低精度带来的质量变化
先决定用 fp16 还是 bf16
fp16 和 bf16 都用 16 bit 表示浮点数,模型参数本身通常比 fp32 少占约一半存储,但整个推理峰值不会严格减半,因为还包含 KV cache、激活和临时工作区。
| 精度 | 适合场景 | 主要边界 |
|---|---|---|
| fp32 | 作为数值与质量基线 | 显存和带宽成本最高 |
| fp16 | CUDA 推理中常见的低精度路径 | 数值范围比 bf16 窄,个别模型或算子可能更敏感 |
| bf16 | 硬件支持且希望保留更大数值范围 | 并非所有 GPU 都支持,速度收益也取决于硬件 |
不能只凭 GPU 型号猜 bf16 支持情况。PyTorch 提供 torch.cuda.is_bf16_supported() 做运行时检测;若返回 False,应跳过 bf16,而不是强行加载后再把报错当成模型问题。
对比显存与确定性输出
下面脚本在同一张 CUDA GPU 上分别加载 fp32、fp16 和可用时的 bf16。它使用贪心解码关闭随机采样,因此可以直接比较生成文本是否与 fp32 完全一致。在 from_pretrained() 中显式指定加载精度,可以避免先按 fp32 完整加载后再整体转换。
import gc
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "gpt2"
PROMPT = "Transformers inference can be optimized by"
MAX_NEW_TOKENS = 24
if not torch.cuda.is_available():
raise SystemExit("This example requires a CUDA GPU.")
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
inputs = tokenizer(PROMPT, return_tensors="pt").to("cuda")
def run(dtype):
gc.collect()
torch.cuda.empty_cache()
torch.cuda.reset_peak_memory_stats()
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
torch_dtype=dtype,
).to("cuda").eval()
with torch.inference_mode():
output_ids = model.generate(
**inputs,
max_new_tokens=MAX_NEW_TOKENS,
do_sample=False,
use_cache=True,
pad_token_id=tokenizer.eos_token_id,
)
torch.cuda.synchronize()
peak_mib = torch.cuda.max_memory_allocated() / 1024**2
text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
del output_ids, model
gc.collect()
torch.cuda.empty_cache()
return peak_mib, text
baseline_peak, baseline_text = run(torch.float32)
print(f"fp32 peak_mib={baseline_peak:.1f} exact_match_fp32=True")
for name, dtype in [("fp16", torch.float16), ("bf16", torch.bfloat16)]:
if name == "bf16" and not torch.cuda.is_bf16_supported():
print("bf16 skipped: hardware not supported")
continue
peak, text = run(dtype)
print(
f"{name} peak_mib={peak:.1f} "
f"exact_match_fp32={text == baseline_text}"
)预期输出
fp32 peak_mib=<MEMORY> exact_match_fp32=True
fp16 peak_mib=<MEMORY> exact_match_fp32=<BOOL>
bf16 peak_mib=<MEMORY> exact_match_fp32=<BOOL>若当前 GPU 不支持 bf16,最后一行会改为:
bf16 skipped: hardware not supported<MEMORY> 与 <BOOL> 取决于硬件、软件版本和实际计算路径。PyTorch 的峰值显存统计可通过重置峰值计数后读取 max_memory_allocated() 获得,因此每个精度必须单独重置再测。
质量验证不能停在 exact match
贪心输出完全一致是一个很强的快速信号,但“不一致”并不自动等于质量下降。半精度可能只改变极小的 logits 排序,最终影响某个 token;真实项目应在固定验证集上比较任务指标,例如分类准确率、摘要 ROUGE、生成任务的人工评分或业务规则通过率。
遇到不支持或收益不明显时
如果 fp16/bf16 加载失败,先确认模型算子和 GPU 对该 dtype 的支持,再检查是否有部分模块被强制保留为 fp32。bf16 应以 torch.cuda.is_bf16_supported() 的结果为准。
如果参数显存明显下降但峰值显存变化不大,通常说明 KV cache、激活或临时缓冲占比已经很高;此时继续优化应转向缩短上下文、限制生成长度、减小 batch,或进一步评估量化,而不是期待半精度把所有显存都减半。