机器学习与深度学习 / 系统课时

使用 Dropout 正则化

使用 Dropout 正则化

Dropout 在训练时随机屏蔽一部分激活值,迫使网络减少对少数特征的依赖,从而缓解过拟合。本课会用 PyTorch 的 nn.Dropout 跑通训练与推理两种模式,并给出常用概率、放置位置和检查方法。

学习目标

  • 理解 Dropout 在训练模式与评估模式下的不同语义。
  • 正确选择 p,并把 Dropout 放到分类头或全连接层中。
  • 用代码验证缩放规则,避免忘记 model.eval() 造成推理结果抖动。

Dropout 实际做了什么

nn.Dropout(p=0.5) 表示训练时每个元素有 50% 概率被置零。PyTorch 采用 inverted dropout:保留下来的值会乘以 1/(1-p),因此训练阶段的期望值与原激活基本一致;进入评估模式后,Dropout 直接返回输入,不再随机丢弃。

以输入值全为 1、p=0.5 为例,训练模式下单个输出只能是 0 或 2;评估模式下则仍然是 1。常见起点是分类头 p=0.5,较小网络或数据增强已经很强时可从 p=0.2 开始。

训练与评估模式下 Dropout 的数据流

在模型里放置 Dropout

卷积分类器里,最常见的位置是分类头的隐藏层之后,而不是输出 logits 之后。下面示例先把 32 维特征映射到 16 维,再执行 ReLU 和 Dropout,最后输出 4 个类别的 logits。

python
import torch
from torch import nn

class ClassifierHead(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(32, 16),
            nn.ReLU(),
            nn.Dropout(p=0.5),
            nn.Linear(16, 4),
        )

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.net(x)

model = ClassifierHead()
x = torch.randn(8, 32)
logits = model(x)
print(logits.shape)

预期输出

text
torch.Size([8, 4])

对于卷积特征图,如果希望一次丢弃整个通道,可考虑 nn.Dropout2d;普通 nn.Dropout 是按元素随机置零。不要在 softmax 之后再加 Dropout,因为这会直接破坏归一化后的类别概率。

验证训练与推理行为

model.train() 会启用 Dropout,model.eval() 会关闭 Dropout。下面用全 1 张量验证两条关键性质:训练模式下输出只可能是 0 或按比例放大的值;评估模式下输出与输入完全一致。

python
import torch
from torch import nn

torch.manual_seed(0)

p = 0.5
dropout = nn.Dropout(p=p)
x = torch.ones(1000)

dropout.train()
train_y = dropout(x)
scaled_value = 1.0 / (1.0 - p)
train_values_valid = torch.all(
    (train_y == 0.0) | (train_y == scaled_value)
).item()

dropout.eval()
eval_y = dropout(x)
eval_identity = torch.equal(eval_y, x)

print("train_values_valid:", bool(train_values_valid))
print("eval_identity:", eval_identity)

预期输出

text
train_values_valid: True
eval_identity: True

如果验证集损失每次运行都轻微变化,先检查推理前是否调用了 model.eval()。只写 torch.no_grad() 不会关闭 Dropout;它只是不记录梯度。

什么时候调高或调低 p

当训练准确率持续上升而验证准确率停滞,例如训练集 98%、验证集 84%,可以把分类头的 p 从 0.2 提到 0.5 后重新比较验证损失。反过来,如果训练集本身长期只有 70% 左右且验证集接近它,过强 Dropout 可能造成欠拟合,应把 p 降到 0.1~0.3 或暂时移除。

Dropout 更适合抑制全连接层对单一特征的依赖;如果主要问题来自数据量小或图像变化不足,优先补充合理的数据增强,再用 Dropout 做进一步正则化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Dropout 正则化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通