机器学习与深度学习 / 系统课时

加入批归一化

加入批归一化

学习目标

  • 理解批归一化的训练目标
  • 正确安排卷积、归一化与激活顺序
  • 区分训练与推理阶段统计量

本课解决“深层网络训练波动大、收敛慢”这一问题。你将使用批归一化稳定中间特征分布,并理解它为何在训练和推理阶段采用不同统计量。

批归一化的机制

批归一化在训练时根据当前小批次计算均值和方差,对激活进行标准化,再通过可训练的缩放和平移参数恢复表达能力。同时维护移动均值和移动方差,推理时使用这些累计统计量,避免结果依赖当前请求批次。

常见顺序是 Conv2D(use_bias=False) → BatchNormalization → ReLU。归一化层已有平移参数时,卷积偏置通常可以关闭。

观察训练与推理模式

python
import tensorflow as tf

layer = tf.keras.layers.BatchNormalization(momentum=0.9)
x = tf.constant([[1.0], [3.0], [5.0], [7.0]])

training_output = layer(x, training=True)
inference_output = layer(x, training=False)

print("训练输出均值:", round(float(tf.reduce_mean(training_output)), 6))
print("移动均值:", round(float(layer.moving_mean[0]), 2))
print("训练与推理形状一致:", training_output.shape == inference_output.shape)

预期输出:

text
训练输出均值: 0.0
移动均值: 0.4
训练与推理形状一致: True

移动均值为当前批次均值 4.0 按 1-momentum 更新后的结果。

批大小的影响

批次太小时,均值和方差估计噪声较大,批归一化可能不稳定。显存限制导致批大小很小时,可尝试冻结批归一化统计量、使用其他归一化方式,或采用迁移学习中预训练模型的既有统计量。

迁移学习中的注意点

冻结基础网络时,不仅要设置 base_model.trainable=False,调用基础网络时通常还应使用 training=False,避免批归一化统计量被新数据破坏。重新解冻后必须重新编译模型,使可训练变量列表生效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

加入批归一化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通