机器学习与深度学习 / 系统课时
替换任务输出层
替换任务输出层
预训练模型的特征提取能力可以直接复用,但原始输出层通常对应旧数据集的类别数。本课将以 ResNet18 为例,替换分类头并用一次前向计算验证新模型已经适配目标任务。
学习目标
- 找到预训练模型中负责最终预测的输出层
- 按目标类别数替换模型头部
- 通过输出形状检查修改是否正确
为什么只替换输出层
卷积主干已经学到边缘、纹理和高层语义等通用特征,最后的全连接层只负责把这些特征映射到原任务类别。迁移到新分类任务时,通常保留主干结构,只把旧输出层换成与新类别数一致的层。

对于 torchvision 的 ResNet,输出层保存在 model.fc;其他模型的名称可能不同,例如 MobileNet 常见为 classifier。修改前应先打印模型结构或查阅官方实现,确认真正的任务头位置。
在 ResNet18 中替换分类头
下面把 ImageNet 预训练的 1000 类输出层替换成 5 类输出层。首次运行可能下载权重文件,下载进度因环境不同而变化,不属于程序的固定输出。
python
import torch
from torch import nn
from torchvision.models import ResNet18_Weights, resnet18
def main() -> None:
num_classes = 5
model = resnet18(weights=ResNet18_Weights.DEFAULT)
# 复用旧分类头的输入维度,只改变最终输出维度。
in_features = model.fc.in_features
model.fc = nn.Linear(in_features, num_classes)
# 用一次前向计算验证新任务头的输出形状。
model.eval()
inputs = torch.randn(2, 3, 224, 224)
with torch.no_grad():
outputs = model(inputs)
print(f"原始输入维度: {in_features}")
print(f"新输出层: {model.fc}")
print(f"输出形状: {outputs.shape}")
if __name__ == "__main__":
main()预期输出
text
原始输入维度: 512
新输出层: Linear(in_features=512, out_features=5, bias=True)
输出形状: torch.Size([2, 5])输出张量的第一维是批次大小,第二维是类别数。这里得到 [2, 5],说明两个样本分别产生了 5 个类别的原始分数,也就是 logits。
让输出层匹配任务类型
单标签多分类任务通常使用 nn.Linear(in_features, num_classes) 配合 nn.CrossEntropyLoss,模型末尾不必手动添加 Softmax,因为损失函数内部会完成稳定的对数归一化计算。
二分类可以输出 1 个 logit 并使用 nn.BCEWithLogitsLoss,也可以输出 2 个 logits 并使用 nn.CrossEntropyLoss。多标签分类应让输出维度等于标签数量,并使用 nn.BCEWithLogitsLoss。回归任务则按目标维度设置输出单元,例如单值回归使用 1 个输出。
常见检查点
- 新输出层的
in_features必须等于主干实际输出的特征维度,不能凭经验手写 out_features必须与标签编码和损失函数约定一致- 替换层以后再加载完整旧模型权重可能出现尺寸不匹配,应优先加载预训练主干,再创建新任务头
按自己的节奏,确认真正理解。