机器学习与深度学习 / 系统课时

替换分类头

替换分类头

预训练模型通常已经学到通用视觉特征,但原分类层的类别数与新任务并不一致。这里以 torchvision 的 ResNet-18 为例,把 ImageNet 的 1000 类输出改成 5 类,并用张量形状确认新分类头已经真正生效。

学习目标

  • 找到预训练模型中负责最终分类的输出层。
  • 按新任务类别数替换分类头,并保留预训练主干参数。
  • 用一次前向计算验证输出维度与标签约定。

先确认要替换的是哪一层

ResNet-18 的最终分类层是 model.fc。不要把输入维度写死成 512,而应先读取 model.fc.in_features,这样代码能直接跟随模型结构。对一个 5 分类任务,新层应为 Linear(512, 5),输出张量形状则应从 [N, 1000] 变成 [N, 5]。

ResNet-18 主干保持不变并将 1000 类分类头替换为 5 类分类头

替换分类头并检查输出

以下示例使用 torchvision 的 weights= API。首次运行若本机没有对应权重缓存,会自动下载 ResNet-18 的预训练权重。

python
import torch
from torch import nn
from torchvision.models import ResNet18_Weights, resnet18

def main():
    num_classes = 5

    model = resnet18(weights=ResNet18_Weights.DEFAULT)
    in_features = model.fc.in_features
    model.fc = nn.Linear(in_features, num_classes)

    model.eval()
    x = torch.randn(2, 3, 224, 224)

    with torch.no_grad():
        logits = model(x)

    print("in_features:", in_features)
    print("classifier:", model.fc)
    print("output shape:", tuple(logits.shape))

if __name__ == "__main__":
    main()

预期输出

text
in_features: 512
classifier: Linear(in_features=512, out_features=5, bias=True)
output shape: (2, 5)

(2, 5) 表示批次中有 2 张图,每张图得到 5 个未经 Softmax 的 logits。训练时可直接把这组 logits 交给 nn.CrossEntropyLoss(),标签应是形如 [2] 的整型类别 ID,且取值范围为 0 到 4。

保留新分类头的随机初始化

替换 model.fc 时,新建的 nn.Linear 不会继承旧 1000 类分类头的权重,而是按 PyTorch 的默认规则重新初始化。这正是迁移学习中常见的做法:复用主干特征,仅让任务相关的最后一层从随机参数开始学习。

若新任务有 12 类,只需把 num_classes = 5 改为 12;此时检查条件也应同步改为输出形状 (N, 12)。不要先对模型输出手动执行 softmax 再传给 CrossEntropyLoss,因为该损失内部已经包含对 logits 的对数归一化计算。

避免把结构细节写死

不同模型的分类头属性名并不统一,因此迁移到其他架构时应先打印模型结构,再定位最终输出层。ResNet 使用 fc;其他架构可能把分类层放在 classifier 或 heads 中。无论属性名是什么,真正需要确认的只有两点:输入特征数来自原模型,输出特征数等于新任务类别数。

在项目验收时,至少检查 out_features == 类别数、一次前向输出为 [batch_size, 类别数],以及训练标签落在合法类别 ID 范围内。三项都满足,分类头才算替换完整。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

替换分类头

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通