机器学习与深度学习 / 系统课时

使用全连接层

使用全连接层

nn.Linear 对输入最后一维执行仿射变换,是分类头、多层感知机和特征投影中最常见的层。本篇直接解决三个问题:输入输出维度怎样填写、参数数量怎么算,以及怎样用真实张量验证形状和数值。

学习目标

  • 能根据输入特征数正确设置 in_features 和 out_features。
  • 能从 weight、bias 的形状计算 Linear 层参数量。
  • 能运行一个固定权重示例,并核对输出形状和计算结果。

先对齐输入最后一维

nn.Linear(in_features, out_features, bias=True) 要求输入张量的最后一维等于 in_features,前面的维度都原样保留。比如输入形状是 (32, 128),使用 nn.Linear(128, 10) 后,输出形状就是 (32, 10)。

配置 权重形状 偏置形状 输入示例 输出示例
nn.Linear(4, 3) (3, 4) (3,) (2, 4) (2, 3)
nn.Linear(128, 10) (10, 128) (10,) (32, 128) (32, 10)

常见错误是把批量大小写进 in_features。例如输入 (32, 128) 中,32 是 batch size,不应写成 nn.Linear(32, 10);真正要匹配的是最后一维 128。

计算参数数量

带偏置的全连接层包含一张 weight 和一条 bias。nn.Linear(4, 3) 的权重有 3 × 4 = 12 个参数,偏置有 3 个参数,总数是 15。若设置 bias=False,则只剩 12 个参数。

实际项目可以用 sum(p.numel() for p in layer.parameters()) 做机器校验。这个方法统计参数元素数量,不受张量形状展示方式影响,也适合检查更大的模型。

用固定权重验证计算

下面把 Linear(4, 3) 的权重和偏置设置成已知值,再送入两个样本。固定权重可以让输出完全可复核,而不是依赖随机初始化。

python
import torch
from torch import nn

layer = nn.Linear(4, 3)

with torch.no_grad():
    layer.weight.copy_(torch.tensor([
        [1.0, 0.0, 0.0, 0.0],
        [0.0, 1.0, 1.0, 0.0],
        [-1.0, 0.0, 0.0, 1.0],
    ]))
    layer.bias.copy_(torch.tensor([0.5, -0.5, 1.0]))

x = torch.tensor([
    [1.0, 2.0, 3.0, 4.0],
    [0.0, 1.0, 0.0, 2.0],
])

y = layer(x)

print("weight shape:", tuple(layer.weight.shape))
print("bias shape:", tuple(layer.bias.shape))
print("parameter count:", sum(p.numel() for p in layer.parameters()))
print("output shape:", tuple(y.shape))
print("output:", y.detach().tolist())

预期输出

text
weight shape: (3, 4)
bias shape: (3,)
parameter count: 15
output shape: (2, 3)
output: [[1.5, 4.5, 4.0], [0.5, 0.5, 3.0]]

第一条样本的第一个输出只读取第一个输入特征,因此是 1.0 + 0.5 = 1.5;第二个输出读取第 2、3 个特征,因此是 2.0 + 3.0 - 0.5 = 4.5。用这种小矩阵手算一次,比只看形状更容易发现维度方向写反的问题。

处理高维输入和维度错误

Linear 只变换最后一维,所以输入也可以是 (batch, time, features)。例如形状 (8, 20, 64) 经过 nn.Linear(64, 32) 后会得到 (8, 20, 32),不需要先把 batch 和 time 展平。

如果最后一维不匹配,例如把 (2, 5) 输入给 nn.Linear(4, 3),矩阵乘法会失败。修复时不要随意改层参数,先确认每个样本到底有多少个特征;模型接口确定为 4 维特征时,应修正上游张量到 (..., 4)。参数量、输入最后一维和输出最后一维三者能同时对上,才说明这一层的接口配置正确。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用全连接层

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通