机器学习与深度学习 / 系统课时
训练与评估模式
训练与评估模式
模型中的 Dropout 和 BatchNorm 会根据训练或评估状态采用不同策略。本课通过可运行示例掌握 train()、eval() 与梯度关闭的正确组合,避免验证结果波动。
学习目标
- 正确切换模型的训练状态和评估状态
- 理解 Dropout 与 BatchNorm 在两种状态下的行为差异
- 区分
eval()与torch.inference_mode()的职责
模式切换改变了什么
每个 nn.Module 都有一个 training 属性。调用 model.train() 会把模型及其所有子模块切换为训练状态,调用 model.eval() 则会递归切换为评估状态。它们不会修改参数值,只会影响会读取该状态的网络层。
| 网络层 | 训练模式 | 评估模式 |
|---|---|---|
| Dropout | 按概率随机丢弃部分元素,并对保留值缩放 | 不再随机丢弃,直接传递输入 |
| BatchNorm | 使用当前批次统计量,并更新运行均值与方差 | 使用训练期间累计的运行统计量 |
| Linear、Conv | 计算方式不变 | 计算方式不变 |
因此,忘记调用 eval() 会让验证结果带有随机性,也可能继续改写 BatchNorm 的运行统计量。完成验证后继续训练时,应再次调用 train(),否则 Dropout 和 BatchNorm 会保持评估行为。
eval 与关闭梯度不是一回事
model.eval() 只切换层的行为,不会关闭自动求导。即使处于评估模式,只要输入或参数需要梯度,PyTorch 仍可能构建计算图并占用额外内存。
验证和推理通常把 model.eval() 与 torch.inference_mode() 组合使用。前者保证层行为正确,后者关闭梯度记录并进一步减少推理开销。若后续操作需要使用自动求导,可改用作用范围更宽松的 torch.no_grad()。
运行示例与结果验证
下面的模型同时包含 BatchNorm 和 Dropout。训练模式下连续执行两次前向传播,Dropout 会产生不同掩码;评估模式下关闭随机丢弃,因此相同输入会得到一致结果。
import torch
from torch import nn
class DemoNet(nn.Module):
def __init__(self):
super().__init__()
self.fc = nn.Linear(4, 4, bias=False)
self.bn = nn.BatchNorm1d(4)
self.relu = nn.ReLU()
self.dropout = nn.Dropout(p=0.5)
def forward(self, x):
x = self.fc(x)
x = self.bn(x)
x = self.relu(x)
return self.dropout(x)
def main():
torch.manual_seed(7)
model = DemoNet()
# 使用单位矩阵固定线性层,便于只观察模式切换带来的差异。
with torch.no_grad():
model.fc.weight.copy_(torch.eye(4))
x = torch.tensor(
[
[1.0, 2.0, 3.0, 4.0],
[2.0, 3.0, 4.0, 5.0],
[3.0, 4.0, 5.0, 6.0],
[4.0, 5.0, 6.0, 7.0],
]
)
model.train()
print("train model.training:", model.training)
print("train dropout.training:", model.dropout.training)
train_output_1 = model(x)
train_output_2 = model(x)
print("train outputs equal:", torch.allclose(train_output_1, train_output_2))
model.eval()
print("eval model.training:", model.training)
print("eval dropout.training:", model.dropout.training)
# 推理模式既不记录梯度,也不改变 eval 已设置的层行为。
with torch.inference_mode():
eval_output_1 = model(x)
eval_output_2 = model(x)
print("eval outputs equal:", torch.allclose(eval_output_1, eval_output_2))
if __name__ == "__main__":
main()预期输出:
train model.training: True
train dropout.training: True
train outputs equal: False
eval model.training: False
eval dropout.training: False
eval outputs equal: True示例中的训练输出不相等,原因是两次前向传播使用了不同的 Dropout 掩码。评估输出相等,是因为 Dropout 已关闭随机丢弃,BatchNorm 也改为使用运行统计量。eval() 会递归作用于子模块,所以通常只需对最外层模型调用一次。
标准训练循环应在每个训练阶段开始时调用 model.train(),在验证阶段开始时调用 model.eval(),并把验证前向传播放入 torch.inference_mode()。切换模式本身不会清空梯度,训练阶段仍需按正常顺序执行 optimizer.zero_grad()、反向传播和参数更新。