机器学习与深度学习 / 系统课时

使用 Sequential 组合层

使用 Sequential 组合层

nn.Sequential 适合把“一个张量按固定顺序依次经过若干层”的网络快速组合起来。下面会构建一个 4→8→3 的前馈网络,检查每层的执行顺序、输出形状和参数注册,并说明什么时候应该改用自定义 nn.Module。

学习目标

  • 使用 nn.Sequential 按顺序组合线性层与激活函数
  • 通过一次前向计算验证输出形状和参数是否正确注册
  • 判断顺序结构与分支、残差、多输入结构的边界

Sequential 的执行规则

nn.Sequential(a, b, c) 会把前一个模块的输出直接作为下一个模块的输入,等价于依次执行 x = a(x)、x = b(x)、x = c(x)。因此,相邻层的形状必须能够衔接:若第一层输出 8 个特征,下一层就必须接收 8 个特征。

下面这个结构中,输入形状是 [batch,4],第一层 Linear(4,8) 变成 [batch,8],ReLU 不改变形状,最后 Linear(8,3) 输出 [batch,3]。

Sequential 中张量按模块顺序传递

构建并验证一个最小网络

下面的示例创建两条输入样本,并同时打印模型结构、输出形状以及注册参数的名称和尺寸。只要输出是 (2, 3),就说明两条样本都成功经过 4→8→3 的维度变换。

python
import torch
from torch import nn

torch.manual_seed(7)

model = nn.Sequential(
    nn.Linear(4, 8),
    nn.ReLU(),
    nn.Linear(8, 3),
)

x = torch.tensor([
    [1.0, 2.0, -1.0, 0.5],
    [0.0, -2.0, 3.0, 1.0],
])

logits = model(x)

print(model)
print("output_shape:", tuple(logits.shape))
for name, parameter in model.named_parameters():
    print(name, tuple(parameter.shape))

预期输出

text
Sequential(
  (0): Linear(in_features=4, out_features=8, bias=True)
  (1): ReLU()
  (2): Linear(in_features=8, out_features=3, bias=True)
)
output_shape: (2, 3)
0.weight (8, 4)
0.bias (8,)
2.weight (3, 8)
2.bias (3,)

nn.ReLU() 没有可训练参数,所以 named_parameters() 中只出现两个 Linear 层。参数名里的 0 和 2 正是它们在 Sequential 中的模块索引,这些参数会自动进入 model.parameters(),可直接交给优化器。

访问、替换与命名子模块

按位置构建时,可以用索引访问子模块:model[0] 是第一层线性层,model[1] 是 ReLU。调试时若想临时改成 GELU,可以执行 model[1] = nn.GELU();输入输出维度不变,因此其余层无需修改。

工程里如果希望状态字典和日志更易读,可以用 collections.OrderedDict 给层命名,例如 fc1、act1、fc2。这样保存参数时会得到 fc1.weight 而不是 0.weight,定位大型顺序网络更方便。无论使用数字索引还是显式名称,模块都必须真正放进 nn.Sequential 或其他 nn.Module 容器中,才能被 PyTorch 注册。

什么时候不要用 Sequential

nn.Sequential 最适合单输入、单输出、单一路径的数据流。如果前向过程需要跳连、拼接、条件分支或同时接收多个张量,就应该写自定义 nn.Module.forward(),因为这些关系无法仅靠“前一个输出传给下一个模块”表达。

例如残差块要计算 y = block(x) + x,其中原始 x 必须绕过若干层后再参与相加;这已经不是纯顺序结构。相反,Linear -> ReLU -> Linear 这类固定流水线直接用 nn.Sequential 更短,也能保持参数注册、.to(device)、.train() 和 .eval() 等模块行为一致。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Sequential 组合层

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通