机器学习与深度学习 / 系统课时

训练与评估模式

训练与评估模式

模型中的 Dropout 和 BatchNorm 会根据训练或评估状态采用不同策略。本课通过可运行示例掌握 train()、eval() 与梯度关闭的正确组合,避免验证结果波动。

学习目标

  • 正确切换模型的训练状态和评估状态
  • 理解 Dropout 与 BatchNorm 在两种状态下的行为差异
  • 区分 eval() 与 torch.inference_mode() 的职责

模式切换改变了什么

每个 nn.Module 都有一个 training 属性。调用 model.train() 会把模型及其所有子模块切换为训练状态,调用 model.eval() 则会递归切换为评估状态。它们不会修改参数值,只会影响会读取该状态的网络层。

网络层 训练模式 评估模式
Dropout 按概率随机丢弃部分元素,并对保留值缩放 不再随机丢弃,直接传递输入
BatchNorm 使用当前批次统计量,并更新运行均值与方差 使用训练期间累计的运行统计量
Linear、Conv 计算方式不变 计算方式不变

因此,忘记调用 eval() 会让验证结果带有随机性,也可能继续改写 BatchNorm 的运行统计量。完成验证后继续训练时,应再次调用 train(),否则 Dropout 和 BatchNorm 会保持评估行为。

eval 与关闭梯度不是一回事

model.eval() 只切换层的行为,不会关闭自动求导。即使处于评估模式,只要输入或参数需要梯度,PyTorch 仍可能构建计算图并占用额外内存。

验证和推理通常把 model.eval() 与 torch.inference_mode() 组合使用。前者保证层行为正确,后者关闭梯度记录并进一步减少推理开销。若后续操作需要使用自动求导,可改用作用范围更宽松的 torch.no_grad()。

运行示例与结果验证

下面的模型同时包含 BatchNorm 和 Dropout。训练模式下连续执行两次前向传播,Dropout 会产生不同掩码;评估模式下关闭随机丢弃,因此相同输入会得到一致结果。

python
import torch
from torch import nn

class DemoNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc = nn.Linear(4, 4, bias=False)
        self.bn = nn.BatchNorm1d(4)
        self.relu = nn.ReLU()
        self.dropout = nn.Dropout(p=0.5)

    def forward(self, x):
        x = self.fc(x)
        x = self.bn(x)
        x = self.relu(x)
        return self.dropout(x)

def main():
    torch.manual_seed(7)
    model = DemoNet()

    # 使用单位矩阵固定线性层,便于只观察模式切换带来的差异。
    with torch.no_grad():
        model.fc.weight.copy_(torch.eye(4))

    x = torch.tensor(
        [
            [1.0, 2.0, 3.0, 4.0],
            [2.0, 3.0, 4.0, 5.0],
            [3.0, 4.0, 5.0, 6.0],
            [4.0, 5.0, 6.0, 7.0],
        ]
    )

    model.train()
    print("train model.training:", model.training)
    print("train dropout.training:", model.dropout.training)
    train_output_1 = model(x)
    train_output_2 = model(x)
    print("train outputs equal:", torch.allclose(train_output_1, train_output_2))

    model.eval()
    print("eval model.training:", model.training)
    print("eval dropout.training:", model.dropout.training)

    # 推理模式既不记录梯度,也不改变 eval 已设置的层行为。
    with torch.inference_mode():
        eval_output_1 = model(x)
        eval_output_2 = model(x)

    print("eval outputs equal:", torch.allclose(eval_output_1, eval_output_2))

if __name__ == "__main__":
    main()

预期输出:

text
train model.training: True
train dropout.training: True
train outputs equal: False
eval model.training: False
eval dropout.training: False
eval outputs equal: True

示例中的训练输出不相等,原因是两次前向传播使用了不同的 Dropout 掩码。评估输出相等,是因为 Dropout 已关闭随机丢弃,BatchNorm 也改为使用运行统计量。eval() 会递归作用于子模块,所以通常只需对最外层模型调用一次。

标准训练循环应在每个训练阶段开始时调用 model.train(),在验证阶段开始时调用 model.eval(),并把验证前向传播放入 torch.inference_mode()。切换模式本身不会清空梯度,训练阶段仍需按正常顺序执行 optimizer.zero_grad()、反向传播和参数更新。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

训练与评估模式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通