机器学习与深度学习 / 系统课时

替换任务输出层

替换任务输出层

预训练模型的特征提取能力可以直接复用,但原始输出层通常对应旧数据集的类别数。本课将以 ResNet18 为例,替换分类头并用一次前向计算验证新模型已经适配目标任务。

学习目标

  • 找到预训练模型中负责最终预测的输出层
  • 按目标类别数替换模型头部
  • 通过输出形状检查修改是否正确

为什么只替换输出层

卷积主干已经学到边缘、纹理和高层语义等通用特征,最后的全连接层只负责把这些特征映射到原任务类别。迁移到新分类任务时,通常保留主干结构,只把旧输出层换成与新类别数一致的层。

预训练模型替换输出层示意图

对于 torchvision 的 ResNet,输出层保存在 model.fc;其他模型的名称可能不同,例如 MobileNet 常见为 classifier。修改前应先打印模型结构或查阅官方实现,确认真正的任务头位置。

在 ResNet18 中替换分类头

下面把 ImageNet 预训练的 1000 类输出层替换成 5 类输出层。首次运行可能下载权重文件,下载进度因环境不同而变化,不属于程序的固定输出。

python
import torch
from torch import nn
from torchvision.models import ResNet18_Weights, resnet18

def main() -> None:
    num_classes = 5
    model = resnet18(weights=ResNet18_Weights.DEFAULT)

    # 复用旧分类头的输入维度,只改变最终输出维度。
    in_features = model.fc.in_features
    model.fc = nn.Linear(in_features, num_classes)

    # 用一次前向计算验证新任务头的输出形状。
    model.eval()
    inputs = torch.randn(2, 3, 224, 224)
    with torch.no_grad():
        outputs = model(inputs)

    print(f"原始输入维度: {in_features}")
    print(f"新输出层: {model.fc}")
    print(f"输出形状: {outputs.shape}")

if __name__ == "__main__":
    main()

预期输出

text
原始输入维度: 512
新输出层: Linear(in_features=512, out_features=5, bias=True)
输出形状: torch.Size([2, 5])

输出张量的第一维是批次大小,第二维是类别数。这里得到 [2, 5],说明两个样本分别产生了 5 个类别的原始分数,也就是 logits。

让输出层匹配任务类型

单标签多分类任务通常使用 nn.Linear(in_features, num_classes) 配合 nn.CrossEntropyLoss,模型末尾不必手动添加 Softmax,因为损失函数内部会完成稳定的对数归一化计算。

二分类可以输出 1 个 logit 并使用 nn.BCEWithLogitsLoss,也可以输出 2 个 logits 并使用 nn.CrossEntropyLoss。多标签分类应让输出维度等于标签数量,并使用 nn.BCEWithLogitsLoss。回归任务则按目标维度设置输出单元,例如单值回归使用 1 个输出。

常见检查点

  • 新输出层的 in_features 必须等于主干实际输出的特征维度,不能凭经验手写
  • out_features 必须与标签编码和损失函数约定一致
  • 替换层以后再加载完整旧模型权重可能出现尺寸不匹配,应优先加载预训练主干,再创建新任务头
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

替换任务输出层

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通