机器学习与深度学习 / 系统课时
冻结特征提取层做快速适配
冻结特征提取层做快速适配
当目标数据很少时,直接更新整个 CNN 往往训练更慢,也更容易破坏已经学到的通用视觉特征。冻结预训练骨干、只优化新的分类头,可以用很低的训练成本快速判断现有特征是否适合目标数据,再决定是否需要进一步微调。
学习目标
- 正确冻结卷积骨干,并让新分类头保持可训练状态。
- 验证反向传播只为分类头计算梯度,避免误更新预训练参数。
- 从训练速度、显存占用和验证效果判断是否应该继续解冻骨干。
冻结改变的是参数更新路径
设置参数的 requires_grad=False 后,优化器不再为这些参数计算和保存梯度,反向传播也不需要沿冻结骨干构建完整的求导图。前向计算仍然要经过骨干,因此冻结并不会消除卷积计算本身,但通常能明显减少反向计算量、梯度内存和优化器状态。

需要额外注意 BatchNorm。即使权重参数被冻结,只要模型处于训练模式,BatchNorm 的运行均值和方差仍可能更新。对于真正把骨干当作固定特征提取器的快速适配,可以让模型保持评估模式,同时正常对分类头执行梯度计算。
只训练新的分类头
下面的示例先冻结 ResNet-18 的全部已有参数,再替换 fc。新创建的分类头默认 requires_grad=True,优化器也只接收它的参数。程序执行一次反向传播和参数更新,并检查骨干卷积权重是否保持不变。
import torch
from torch import nn
from torchvision.models import ResNet18_Weights, resnet18
torch.manual_seed(0)
weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights)
# 先冻结现有骨干,再创建新的分类头。
for parameter in model.parameters():
parameter.requires_grad = False
feature_dim = model.fc.in_features
model.fc = nn.Linear(feature_dim, 3)
model.eval() # 固定 BatchNorm 的运行统计量,但不会禁止分类头求梯度。
optimizer = torch.optim.SGD(model.fc.parameters(), lr=0.01)
criterion = nn.CrossEntropyLoss()
preprocess = weights.transforms()
images = preprocess(torch.rand(4, 3, 256, 256))
labels = torch.tensor([0, 1, 2, 1])
backbone_before = model.conv1.weight.detach().clone()
optimizer.zero_grad()
logits = model(images)
loss = criterion(logits, labels)
loss.backward()
optimizer.step()
trainable = sum(p.numel() for p in model.parameters() if p.requires_grad)
backbone_changed = not torch.equal(backbone_before, model.conv1.weight.detach())
print("trainable_params:", trainable)
print("backbone_changed:", backbone_changed)
print("head_has_grad:", model.fc.weight.grad is not None)预期输出
trainable_params: 1539
backbone_changed: False
head_has_grad: True三分类的线性层包含 个可训练参数。骨干参数没有变化,而分类头已经获得梯度,说明冻结边界和优化器参数范围都正确。
比较训练成本与验证效果
冻结骨干和全量微调的差异不能只看单次训练损失。更有价值的是在相同数据划分、批大小和训练轮数下记录每轮耗时、峰值显存以及验证集指标,再根据结果决定下一步。
| 观察项 | 冻结骨干 | 全量微调 |
|---|---|---|
| 前向计算 | 仍需运行整个骨干 | 仍需运行整个骨干 |
| 反向计算 | 主要发生在分类头 | 覆盖可训练骨干与分类头 |
| 梯度与优化器内存 | 较少 | 较多 |
| 小样本过拟合风险 | 通常较低 | 通常较高 |
| 适应新视觉域的能力 | 受预训练特征限制 | 更强 |
如果冻结方案训练很快,而且验证指标已经满足要求,就没有必要为了“充分训练”而解冻整个网络。相反,如果训练准确率和验证准确率都长期偏低,更可能是固定特征无法表达目标任务,而不是分类头训练得不够久。
判断什么时候需要继续微调
预训练数据和目标数据越相似,冻结骨干越容易得到好结果。例如自然照片之间的迁移通常比自然照片迁移到医学影像、遥感图像或特殊工业成像更直接。出现明显领域差异时,可以先解冻靠近输出端的高层模块,并为预训练参数使用比分类头更小的学习率。
冻结训练的验收标准不是“训练损失能够下降”,而是骨干确实保持不变、分类头能够更新,并且验证集表现足以说明预训练特征与目标任务的匹配程度。完成这一步后,是否解冻更多层就有了可量化的依据。