机器学习与深度学习 / 系统课时

优化推理性能

优化推理性能

学习目标

  • 正确测量端到端推理延迟
  • 使用批处理提高吞吐量
  • 评估压缩、流水线和硬件优化

本课解决“模型能运行但延迟或吞吐量不达标”这一问题。你将建立包含预热和多次测量的基准,并从模型、批次、输入流水线和运行环境逐层优化。

先定义指标

在线服务关注单请求 P50、P95、P99 延迟和并发稳定性;离线任务更关注每秒样本数和总完成时间;端侧还要关注峰值内存、能耗和安装包体积。只报告平均模型计算时间无法代表用户真实体验。

建立可重复基准

python
import time
import tensorflow as tf

model = tf.keras.Sequential([
    tf.keras.Input(shape=(128,)),
    tf.keras.layers.Dense(256, activation="relu"),
    tf.keras.layers.Dense(10)
])

batch = tf.ones((32, 128))

# 预热,排除首次图构建和缓存影响
for _ in range(5):
    _ = model(batch, training=False)

times = []
for _ in range(20):
    start = time.perf_counter()
    _ = model(batch, training=False)
    times.append((time.perf_counter() - start) * 1000)

times.sort()
p50 = times[len(times) // 2]
p95 = times[int(len(times) * 0.95) - 1]

print("批次大小:", batch.shape[0])
print("P50 毫秒:", round(p50, 3))
print("P95 毫秒:", round(p95, 3))

预期输出形式:

text
批次大小: 32
P50 毫秒: <TIME_MS>
P95 毫秒: <TIME_MS>

时间取决于 CPU、GPU、线程和 TensorFlow 版本,重点是固定环境后比较优化前后。

四个优化方向

批处理能提升吞吐但会增加排队延迟;tf.data 的并行映射与预取可减少输入等待;更小网络、剪枝或量化可降低计算和内存;Serving 层可通过并发、线程和动态批处理配置提高利用率。

优化前先使用 Profiler 确认瓶颈在预处理、数据传输、模型计算还是后处理。

防止只优化实验室数据

使用真实尺寸、真实并发和真实硬件压测,并包含冷启动、长尾请求和错误输入。任何压缩或算子替换都要重新执行精度回归。性能目标应与业务容量和成本对应,而不是追求单机极限数字。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

优化推理性能

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通