机器学习与深度学习 / 系统课时
替换分类头
替换分类头
预训练模型通常已经学到通用视觉特征,但原分类层的类别数与新任务并不一致。这里以 torchvision 的 ResNet-18 为例,把 ImageNet 的 1000 类输出改成 5 类,并用张量形状确认新分类头已经真正生效。
学习目标
- 找到预训练模型中负责最终分类的输出层。
- 按新任务类别数替换分类头,并保留预训练主干参数。
- 用一次前向计算验证输出维度与标签约定。
先确认要替换的是哪一层
ResNet-18 的最终分类层是 model.fc。不要把输入维度写死成 512,而应先读取 model.fc.in_features,这样代码能直接跟随模型结构。对一个 5 分类任务,新层应为 Linear(512, 5),输出张量形状则应从 [N, 1000] 变成 [N, 5]。

替换分类头并检查输出
以下示例使用 torchvision 的 weights= API。首次运行若本机没有对应权重缓存,会自动下载 ResNet-18 的预训练权重。
import torch
from torch import nn
from torchvision.models import ResNet18_Weights, resnet18
def main():
num_classes = 5
model = resnet18(weights=ResNet18_Weights.DEFAULT)
in_features = model.fc.in_features
model.fc = nn.Linear(in_features, num_classes)
model.eval()
x = torch.randn(2, 3, 224, 224)
with torch.no_grad():
logits = model(x)
print("in_features:", in_features)
print("classifier:", model.fc)
print("output shape:", tuple(logits.shape))
if __name__ == "__main__":
main()预期输出
in_features: 512
classifier: Linear(in_features=512, out_features=5, bias=True)
output shape: (2, 5)(2, 5) 表示批次中有 2 张图,每张图得到 5 个未经 Softmax 的 logits。训练时可直接把这组 logits 交给 nn.CrossEntropyLoss(),标签应是形如 [2] 的整型类别 ID,且取值范围为 0 到 4。
保留新分类头的随机初始化
替换 model.fc 时,新建的 nn.Linear 不会继承旧 1000 类分类头的权重,而是按 PyTorch 的默认规则重新初始化。这正是迁移学习中常见的做法:复用主干特征,仅让任务相关的最后一层从随机参数开始学习。
若新任务有 12 类,只需把 num_classes = 5 改为 12;此时检查条件也应同步改为输出形状 (N, 12)。不要先对模型输出手动执行 softmax 再传给 CrossEntropyLoss,因为该损失内部已经包含对 logits 的对数归一化计算。
避免把结构细节写死
不同模型的分类头属性名并不统一,因此迁移到其他架构时应先打印模型结构,再定位最终输出层。ResNet 使用 fc;其他架构可能把分类层放在 classifier 或 heads 中。无论属性名是什么,真正需要确认的只有两点:输入特征数来自原模型,输出特征数等于新任务类别数。
在项目验收时,至少检查 out_features == 类别数、一次前向输出为 [batch_size, 类别数],以及训练标签落在合法类别 ID 范围内。三项都满足,分类头才算替换完整。