机器学习与深度学习 / 系统课时
分阶段解冻完成模型微调
分阶段解冻完成模型微调
小样本迁移学习的关键不是一次性把整个骨干网络都打开,而是先训练分类头,再逐步解冻靠近输出端的卷积模块,并给骨干更小的学习率。这样既能利用预训练特征,又能让高层表示适配新任务,同时降低少量样本把已有能力“冲坏”的风险。
学习目标
- 能按“分类头 → 高层卷积块 → 更深骨干”的顺序制定解冻计划。
- 能为骨干和分类头设置不同学习率,并理解为什么骨干更新要更谨慎。
- 能用验证集曲线判断何时继续解冻、何时停止微调。
为什么要分阶段解冻
预训练 CNN 的低层通常已经学到边缘、纹理和简单形状,高层则更接近原训练任务的类别语义。新数据较少时,直接更新全部参数会让大量权重同时受到噪声梯度影响,容易出现训练集继续变好而验证集变差的过拟合。
更稳妥的顺序是先冻结骨干,只让新分类头适应标签空间;验证指标稳定后,再解冻最靠近分类头的高层卷积块;只有当新任务与预训练域差异较大且验证集仍受益时,才继续向前解冻。

用差分学习率控制更新强度
解冻并不等于所有参数使用同一个学习率。分类头通常从随机初始化开始,需要更快地学习;骨干已经有较好的参数位置,更新幅度应更小。常见做法是让骨干学习率比分类头低一个数量级,再结合验证集表现决定是否继续降低。
下面的 PyTorch 示例使用预训练 ResNet-18,依次执行“只训练分类头”“解冻 layer4”“再解冻 layer3”三种阶段。每个阶段都重新构造优化器,避免冻结状态改变后仍沿用旧参数组。
import torch
from torch import nn
from torchvision.models import resnet18, ResNet18_Weights
torch.manual_seed(7)
model = resnet18(weights=ResNet18_Weights.DEFAULT)
model.fc = nn.Linear(model.fc.in_features, 3)
criterion = nn.CrossEntropyLoss()
def configure_stage(model, stage):
for p in model.parameters():
p.requires_grad = False
for p in model.fc.parameters():
p.requires_grad = True
if stage >= 2:
for p in model.layer4.parameters():
p.requires_grad = True
if stage >= 3:
for p in model.layer3.parameters():
p.requires_grad = True
def freeze_frozen_bn_stats(model):
# 小样本阶段避免冻结模块的 BatchNorm 运行统计继续漂移。
for module in model.modules():
if isinstance(module, nn.BatchNorm2d):
params = list(module.parameters())
if params and not any(p.requires_grad for p in params):
module.eval()
def make_optimizer(model):
head = list(model.fc.parameters())
backbone = [
p for name, p in model.named_parameters()
if p.requires_grad and not name.startswith("fc.")
]
groups = [{"params": head, "lr": 1e-3}]
if backbone:
groups.append({"params": backbone, "lr": 1e-4})
return torch.optim.AdamW(groups, weight_decay=1e-4)
x = torch.randn(2, 3, 224, 224)
y = torch.tensor([0, 2])
for stage, name in [
(1, "head-only"),
(2, "layer4+head"),
(3, "layer3-4+head"),
]:
configure_stage(model, stage)
optimizer = make_optimizer(model)
model.train()
freeze_frozen_bn_stats(model)
optimizer.zero_grad()
loss = criterion(model(x), y)
loss.backward()
optimizer.step()
print(
f"stage={name} | "
f"layer3={model.layer3[0].conv1.weight.requires_grad} | "
f"layer4={model.layer4[0].conv1.weight.requires_grad} | "
f"head={model.fc.weight.requires_grad}"
)首次运行如本地没有预训练权重,torchvision 会下载 ResNet-18 权重。实际训练时应把随机张量替换为经过训练预处理的数据批次。
预期输出
stage=head-only | layer3=False | layer4=False | head=True
stage=layer4+head | layer3=False | layer4=True | head=True
stage=layer3-4+head | layer3=True | layer4=True | head=True什么时候继续解冻
每完成一个阶段,都应在同一验证集上比较指标,而不是只看训练损失。若训练指标提升、验证指标也持续提升,可以继续解冻;若训练集明显变好但验证集下降,说明更新范围或学习率可能过大,应回退到更浅的解冻范围、降低骨干学习率或提前停止。
如果数据量极小,通常没有必要解冻到最底层。目标不是让更多参数参与训练,而是找到“验证集获得稳定收益”所需的最小更新范围:分类头负责学习新标签,高层卷积负责适配新语义,低层特征则尽量保留预训练模型已经学到的通用视觉能力。