机器学习与深度学习 / 系统课时

渐进式微调

渐进式微调

渐进式微调不是一次性解冻整个预训练模型,而是从输出层开始,分阶段向前解冻更深的主干模块,并为早期层设置更小学习率。这样既能适配新任务,又能降低预训练特征被快速破坏的风险。

学习目标

  • 理解分阶段解冻比一次性全量微调更稳定的原因
  • 使用不同参数组为各层设置差异化学习率
  • 根据验证表现决定是否继续解冻或停止训练

分阶段解冻的核心策略

靠近输入端的层通常保存更通用的视觉特征,靠近输出端的层更依赖原任务。渐进式微调先训练新分类头,再解冻最后一个残差阶段,必要时继续向前解冻,同时逐步降低主干层学习率。

渐进式微调阶段与学习率安排

每进入一个新阶段,都应重新创建优化器,使参数组与学习率配置清晰可控。不要把已经解冻的全部参数统一设置为同一个较大学习率,否则主干特征可能在少量批次内发生剧烈漂移。

实现三阶段微调

下面的示例依次训练分类头、layer4,再加入 layer3。每个阶段开始前先冻结全部参数,然后只解冻当前参数组;模型整体保持评估模式,仅将正在训练的模块切换为训练模式,从而避免冻结区域的 BatchNorm 状态变化。

python
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision.datasets import FakeData
from torchvision.models import ResNet18_Weights, resnet18

torch.manual_seed(7)

weights = ResNet18_Weights.DEFAULT
dataset = FakeData(
    size=24,
    image_size=(3, 224, 224),
    num_classes=3,
    transform=weights.transforms(),
)
loader = DataLoader(dataset, batch_size=8, shuffle=True)

model = resnet18(weights=weights)
model.fc = nn.Linear(model.fc.in_features, 3)
criterion = nn.CrossEntropyLoss()

stages = [
    ("stage1-head", [(model.fc, 1e-3)]),
    ("stage2-layer4", [(model.layer4, 1e-4), (model.fc, 5e-4)]),
    (
        "stage3-layer3-layer4",
        [(model.layer3, 3e-5), (model.layer4, 1e-4), (model.fc, 3e-4)],
    ),
]

for stage_name, module_groups in stages:
    for parameter in model.parameters():
        parameter.requires_grad = False

    optimizer_groups = []
    for module, learning_rate in module_groups:
        module.train()
        for parameter in module.parameters():
            parameter.requires_grad = True
        optimizer_groups.append(
            {"params": module.parameters(), "lr": learning_rate}
        )

    optimizer = torch.optim.AdamW(optimizer_groups, weight_decay=1e-4)

    model.eval()
    for module, _ in module_groups:
        module.train()

    running_loss = 0.0
    for images, labels in loader:
        optimizer.zero_grad()
        logits = model(images)
        loss = criterion(logits, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()

    trainable_count = sum(
        parameter.numel()
        for parameter in model.parameters()
        if parameter.requires_grad
    )
    print(
        f"{stage_name}: trainable={trainable_count}, "
        f"loss=<{running_loss / len(loader):.4f}>"
    )

预期输出

text
stage1-head: trainable=1539, loss=<LOSS_1>
stage2-layer4: trainable=8395267, loss=<LOSS_2>
stage3-layer3-layer4: trainable=10494979, loss=<LOSS_3>

损失值会因运行环境而变化;可训练参数量应随解冻阶段增加。若使用不同类别数,分类头参数量也会改变,因此实际数字应以当前模型为准。

用验证集控制解冻节奏

每个阶段都应观察验证损失和目标指标,而不是机械地解冻全部层。如果验证指标仍提升,可以进入下一阶段;如果开始下降或训练集继续变好而验证集变差,应停止解冻、降低学习率或恢复表现最佳的检查点。

新数据集较小或与预训练数据相似时,通常只解冻最后一个阶段即可。数据量更大、领域差异明显时,可以继续向前解冻,但越靠近输入端,学习率应越小,训练轮数也应更谨慎。

常见失误与修正

一次性解冻全部参数并沿用分类头学习率,容易造成灾难性遗忘。另一类问题是解冻参数后仍使用旧优化器,导致新解冻参数没有进入优化器参数组,看似训练正常,实际上权重不会更新。

分阶段时还要关注 BatchNorm。小批量数据会让运行统计量波动明显,因此冻结区域应保持评估模式;解冻区域是否更新 BatchNorm,需要结合批量大小和验证结果决定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

渐进式微调

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通