机器学习与深度学习 / 系统课时
加入批归一化
加入批归一化
学习目标
- 理解批归一化的训练目标
- 正确安排卷积、归一化与激活顺序
- 区分训练与推理阶段统计量
本课解决“深层网络训练波动大、收敛慢”这一问题。你将使用批归一化稳定中间特征分布,并理解它为何在训练和推理阶段采用不同统计量。
批归一化的机制
批归一化在训练时根据当前小批次计算均值和方差,对激活进行标准化,再通过可训练的缩放和平移参数恢复表达能力。同时维护移动均值和移动方差,推理时使用这些累计统计量,避免结果依赖当前请求批次。
常见顺序是 Conv2D(use_bias=False) → BatchNormalization → ReLU。归一化层已有平移参数时,卷积偏置通常可以关闭。
观察训练与推理模式
python
import tensorflow as tf
layer = tf.keras.layers.BatchNormalization(momentum=0.9)
x = tf.constant([[1.0], [3.0], [5.0], [7.0]])
training_output = layer(x, training=True)
inference_output = layer(x, training=False)
print("训练输出均值:", round(float(tf.reduce_mean(training_output)), 6))
print("移动均值:", round(float(layer.moving_mean[0]), 2))
print("训练与推理形状一致:", training_output.shape == inference_output.shape)预期输出:
text
训练输出均值: 0.0
移动均值: 0.4
训练与推理形状一致: True移动均值为当前批次均值 4.0 按 1-momentum 更新后的结果。
批大小的影响
批次太小时,均值和方差估计噪声较大,批归一化可能不稳定。显存限制导致批大小很小时,可尝试冻结批归一化统计量、使用其他归一化方式,或采用迁移学习中预训练模型的既有统计量。
迁移学习中的注意点
冻结基础网络时,不仅要设置 base_model.trainable=False,调用基础网络时通常还应使用 training=False,避免批归一化统计量被新数据破坏。重新解冻后必须重新编译模型,使可训练变量列表生效。
按自己的节奏,确认真正理解。