机器学习与深度学习 / 系统课时

分阶段解冻完成模型微调

分阶段解冻完成模型微调

小样本迁移学习的关键不是一次性把整个骨干网络都打开,而是先训练分类头,再逐步解冻靠近输出端的卷积模块,并给骨干更小的学习率。这样既能利用预训练特征,又能让高层表示适配新任务,同时降低少量样本把已有能力“冲坏”的风险。

学习目标

  • 能按“分类头 → 高层卷积块 → 更深骨干”的顺序制定解冻计划。
  • 能为骨干和分类头设置不同学习率,并理解为什么骨干更新要更谨慎。
  • 能用验证集曲线判断何时继续解冻、何时停止微调。

为什么要分阶段解冻

预训练 CNN 的低层通常已经学到边缘、纹理和简单形状,高层则更接近原训练任务的类别语义。新数据较少时,直接更新全部参数会让大量权重同时受到噪声梯度影响,容易出现训练集继续变好而验证集变差的过拟合。

更稳妥的顺序是先冻结骨干,只让新分类头适应标签空间;验证指标稳定后,再解冻最靠近分类头的高层卷积块;只有当新任务与预训练域差异较大且验证集仍受益时,才继续向前解冻。

分阶段解冻时骨干与分类头的更新范围

用差分学习率控制更新强度

解冻并不等于所有参数使用同一个学习率。分类头通常从随机初始化开始,需要更快地学习;骨干已经有较好的参数位置,更新幅度应更小。常见做法是让骨干学习率比分类头低一个数量级,再结合验证集表现决定是否继续降低。

下面的 PyTorch 示例使用预训练 ResNet-18,依次执行“只训练分类头”“解冻 layer4”“再解冻 layer3”三种阶段。每个阶段都重新构造优化器,避免冻结状态改变后仍沿用旧参数组。

python
import torch
from torch import nn
from torchvision.models import resnet18, ResNet18_Weights

torch.manual_seed(7)

model = resnet18(weights=ResNet18_Weights.DEFAULT)
model.fc = nn.Linear(model.fc.in_features, 3)
criterion = nn.CrossEntropyLoss()

def configure_stage(model, stage):
    for p in model.parameters():
        p.requires_grad = False

    for p in model.fc.parameters():
        p.requires_grad = True

    if stage >= 2:
        for p in model.layer4.parameters():
            p.requires_grad = True

    if stage >= 3:
        for p in model.layer3.parameters():
            p.requires_grad = True

def freeze_frozen_bn_stats(model):
    # 小样本阶段避免冻结模块的 BatchNorm 运行统计继续漂移。
    for module in model.modules():
        if isinstance(module, nn.BatchNorm2d):
            params = list(module.parameters())
            if params and not any(p.requires_grad for p in params):
                module.eval()

def make_optimizer(model):
    head = list(model.fc.parameters())
    backbone = [
        p for name, p in model.named_parameters()
        if p.requires_grad and not name.startswith("fc.")
    ]
    groups = [{"params": head, "lr": 1e-3}]
    if backbone:
        groups.append({"params": backbone, "lr": 1e-4})
    return torch.optim.AdamW(groups, weight_decay=1e-4)

x = torch.randn(2, 3, 224, 224)
y = torch.tensor([0, 2])

for stage, name in [
    (1, "head-only"),
    (2, "layer4+head"),
    (3, "layer3-4+head"),
]:
    configure_stage(model, stage)
    optimizer = make_optimizer(model)

    model.train()
    freeze_frozen_bn_stats(model)

    optimizer.zero_grad()
    loss = criterion(model(x), y)
    loss.backward()
    optimizer.step()

    print(
        f"stage={name} | "
        f"layer3={model.layer3[0].conv1.weight.requires_grad} | "
        f"layer4={model.layer4[0].conv1.weight.requires_grad} | "
        f"head={model.fc.weight.requires_grad}"
    )

首次运行如本地没有预训练权重,torchvision 会下载 ResNet-18 权重。实际训练时应把随机张量替换为经过训练预处理的数据批次。

预期输出

text
stage=head-only | layer3=False | layer4=False | head=True
stage=layer4+head | layer3=False | layer4=True | head=True
stage=layer3-4+head | layer3=True | layer4=True | head=True

什么时候继续解冻

每完成一个阶段,都应在同一验证集上比较指标,而不是只看训练损失。若训练指标提升、验证指标也持续提升,可以继续解冻;若训练集明显变好但验证集下降,说明更新范围或学习率可能过大,应回退到更浅的解冻范围、降低骨干学习率或提前停止。

如果数据量极小,通常没有必要解冻到最底层。目标不是让更多参数参与训练,而是找到“验证集获得稳定收益”所需的最小更新范围:分类头负责学习新标签,高层卷积负责适配新语义,低层特征则尽量保留预训练模型已经学到的通用视觉能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分阶段解冻完成模型微调

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通