机器学习与深度学习 / 系统课时
优化推理性能
优化推理性能
学习目标
- 正确测量端到端推理延迟
- 使用批处理提高吞吐量
- 评估压缩、流水线和硬件优化
本课解决“模型能运行但延迟或吞吐量不达标”这一问题。你将建立包含预热和多次测量的基准,并从模型、批次、输入流水线和运行环境逐层优化。
先定义指标
在线服务关注单请求 P50、P95、P99 延迟和并发稳定性;离线任务更关注每秒样本数和总完成时间;端侧还要关注峰值内存、能耗和安装包体积。只报告平均模型计算时间无法代表用户真实体验。
建立可重复基准
python
import time
import tensorflow as tf
model = tf.keras.Sequential([
tf.keras.Input(shape=(128,)),
tf.keras.layers.Dense(256, activation="relu"),
tf.keras.layers.Dense(10)
])
batch = tf.ones((32, 128))
# 预热,排除首次图构建和缓存影响
for _ in range(5):
_ = model(batch, training=False)
times = []
for _ in range(20):
start = time.perf_counter()
_ = model(batch, training=False)
times.append((time.perf_counter() - start) * 1000)
times.sort()
p50 = times[len(times) // 2]
p95 = times[int(len(times) * 0.95) - 1]
print("批次大小:", batch.shape[0])
print("P50 毫秒:", round(p50, 3))
print("P95 毫秒:", round(p95, 3))预期输出形式:
text
批次大小: 32
P50 毫秒: <TIME_MS>
P95 毫秒: <TIME_MS>时间取决于 CPU、GPU、线程和 TensorFlow 版本,重点是固定环境后比较优化前后。
四个优化方向
批处理能提升吞吐但会增加排队延迟;tf.data 的并行映射与预取可减少输入等待;更小网络、剪枝或量化可降低计算和内存;Serving 层可通过并发、线程和动态批处理配置提高利用率。
优化前先使用 Profiler 确认瓶颈在预处理、数据传输、模型计算还是后处理。
防止只优化实验室数据
使用真实尺寸、真实并发和真实硬件压测,并包含冷启动、长尾请求和错误输入。任何压缩或算子替换都要重新执行精度回归。性能目标应与业务容量和成本对应,而不是追求单机极限数字。
按自己的节奏,确认真正理解。