机器学习与深度学习 / 系统课时
使用全连接层
使用全连接层
nn.Linear 对输入最后一维执行仿射变换,是分类头、多层感知机和特征投影中最常见的层。本篇直接解决三个问题:输入输出维度怎样填写、参数数量怎么算,以及怎样用真实张量验证形状和数值。
学习目标
- 能根据输入特征数正确设置
in_features和out_features。 - 能从
weight、bias的形状计算Linear层参数量。 - 能运行一个固定权重示例,并核对输出形状和计算结果。
先对齐输入最后一维
nn.Linear(in_features, out_features, bias=True) 要求输入张量的最后一维等于 in_features,前面的维度都原样保留。比如输入形状是 (32, 128),使用 nn.Linear(128, 10) 后,输出形状就是 (32, 10)。
| 配置 | 权重形状 | 偏置形状 | 输入示例 | 输出示例 |
|---|---|---|---|---|
nn.Linear(4, 3) |
(3, 4) |
(3,) |
(2, 4) |
(2, 3) |
nn.Linear(128, 10) |
(10, 128) |
(10,) |
(32, 128) |
(32, 10) |
常见错误是把批量大小写进 in_features。例如输入 (32, 128) 中,32 是 batch size,不应写成 nn.Linear(32, 10);真正要匹配的是最后一维 128。
计算参数数量
带偏置的全连接层包含一张 weight 和一条 bias。nn.Linear(4, 3) 的权重有 3 × 4 = 12 个参数,偏置有 3 个参数,总数是 15。若设置 bias=False,则只剩 12 个参数。
实际项目可以用 sum(p.numel() for p in layer.parameters()) 做机器校验。这个方法统计参数元素数量,不受张量形状展示方式影响,也适合检查更大的模型。
用固定权重验证计算
下面把 Linear(4, 3) 的权重和偏置设置成已知值,再送入两个样本。固定权重可以让输出完全可复核,而不是依赖随机初始化。
import torch
from torch import nn
layer = nn.Linear(4, 3)
with torch.no_grad():
layer.weight.copy_(torch.tensor([
[1.0, 0.0, 0.0, 0.0],
[0.0, 1.0, 1.0, 0.0],
[-1.0, 0.0, 0.0, 1.0],
]))
layer.bias.copy_(torch.tensor([0.5, -0.5, 1.0]))
x = torch.tensor([
[1.0, 2.0, 3.0, 4.0],
[0.0, 1.0, 0.0, 2.0],
])
y = layer(x)
print("weight shape:", tuple(layer.weight.shape))
print("bias shape:", tuple(layer.bias.shape))
print("parameter count:", sum(p.numel() for p in layer.parameters()))
print("output shape:", tuple(y.shape))
print("output:", y.detach().tolist())预期输出
weight shape: (3, 4)
bias shape: (3,)
parameter count: 15
output shape: (2, 3)
output: [[1.5, 4.5, 4.0], [0.5, 0.5, 3.0]]第一条样本的第一个输出只读取第一个输入特征,因此是 1.0 + 0.5 = 1.5;第二个输出读取第 2、3 个特征,因此是 2.0 + 3.0 - 0.5 = 4.5。用这种小矩阵手算一次,比只看形状更容易发现维度方向写反的问题。
处理高维输入和维度错误
Linear 只变换最后一维,所以输入也可以是 (batch, time, features)。例如形状 (8, 20, 64) 经过 nn.Linear(64, 32) 后会得到 (8, 20, 32),不需要先把 batch 和 time 展平。
如果最后一维不匹配,例如把 (2, 5) 输入给 nn.Linear(4, 3),矩阵乘法会失败。修复时不要随意改层参数,先确认每个样本到底有多少个特征;模型接口确定为 4 维特征时,应修正上游张量到 (..., 4)。参数量、输入最后一维和输出最后一维三者能同时对上,才说明这一层的接口配置正确。