机器学习与深度学习 / 系统课时

特征提取模式

特征提取模式

特征提取模式把预训练模型当作固定的特征生成器,只替换并训练最后的任务输出层。它适合数据量较小、训练资源有限或需要快速验证方案的场景,目标是先得到稳定基线,再决定是否继续微调主干网络。

学习目标

  • 理解“冻结主干、训练新头部”的参数更新范围
  • 使用 PyTorch 构建可运行的特征提取训练流程
  • 验证冻结是否生效,并避开 BatchNorm 状态更新问题

特征提取的工作方式

预训练卷积网络已经学到边缘、纹理和形状等通用特征。特征提取模式保留这些参数,将原分类层替换为适合当前类别数的新层,反向传播时只更新新层参数。

特征提取模式的数据流与梯度范围

冻结参数依然参与前向计算,只是不保存可训练梯度。这样能显著减少需要优化的参数量,但如果新任务与预训练数据差异很大,固定特征可能限制模型上限。

构建可运行的基线模型

下面使用预训练 ResNet-18 和 FakeData 构建三分类示例。首次运行可能需要下载权重;训练时让整体模型保持评估模式,再单独启用新分类层,避免冻结主干中的 BatchNorm 统计量继续变化。

python
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision.datasets import FakeData
from torchvision.models import ResNet18_Weights, resnet18

torch.manual_seed(7)

weights = ResNet18_Weights.DEFAULT
dataset = FakeData(
    size=32,
    image_size=(3, 224, 224),
    num_classes=3,
    transform=weights.transforms(),
)
loader = DataLoader(dataset, batch_size=8, shuffle=True)

model = resnet18(weights=weights)

# 先冻结原模型,再替换分类层;新创建的层默认可训练
for parameter in model.parameters():
    parameter.requires_grad = False

model.fc = nn.Linear(model.fc.in_features, 3)

optimizer = torch.optim.Adam(model.fc.parameters(), lr=1e-3)
criterion = nn.CrossEntropyLoss()

model.eval()
model.fc.train()

running_loss = 0.0
for images, labels in loader:
    optimizer.zero_grad()
    logits = model(images)
    loss = criterion(logits, labels)
    loss.backward()
    optimizer.step()
    running_loss += loss.item()

trainable_names = [
    name for name, parameter in model.named_parameters()
    if parameter.requires_grad
]

print("trainable:", trainable_names)
print("conv1_grad_is_none:", model.conv1.weight.grad is None)
print(f"epoch_loss=<{running_loss / len(loader):.4f}>")

预期输出

text
trainable: ['fc.weight', 'fc.bias']
conv1_grad_is_none: True
epoch_loss=<LOSS>

<LOSS> 会随随机初始化、硬件和依赖版本变化;关键验证结果是只有 fc.weight、fc.bias 可训练,并且主干第一层没有梯度。

判断是否需要继续微调

特征提取适合作为第一版方案:训练快、过拟合风险较低,也便于确认数据管道和标签是否正确。如果训练集与验证集都表现较差,通常说明固定特征不够匹配新任务,可以逐步解冻靠近输出端的网络层。

常见错误是只把 requires_grad 设为 False,却仍对整个模型调用 train()。这不会更新冻结权重,但会改变 BatchNorm 的运行均值和方差,导致“参数没变、模型行为却变了”。固定主干时应显式控制训练模式。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

特征提取模式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通