机器学习与深度学习 / 系统课时

前向传播与张量形状

前向传播与张量形状

本课将跟踪一批数据经过线性层和激活函数时的形状变化,帮助你快速判断批量维度、特征维度以及层与层之间是否能够正确连接。

学习目标

  • 区分张量中的批量维度与特征维度
  • 追踪前向传播过程中每一层的输入和输出形状
  • 按固定顺序定位矩阵维度不匹配问题

先认清批量维度和特征维度

全连接网络通常接收形状为 (B, F) 的二维张量。B 是一次并行处理的样本数量,称为批量大小;F 是每个样本包含的特征数量。

当张量经过 nn.Linear(in_features, out_features) 时,最后一个维度会从 in_features 变成 out_features,批量维度保持不变。因此 (B, 6) 经过 Linear(6, 10) 后会得到 (B, 10)。

前向传播中的张量形状变化

用前向钩子追踪每一层

PyTorch 的前向钩子可以在模块执行后读取输入和输出,适合调试复杂网络。钩子只用于观察,不会改变张量内容;调试完成后应移除,避免长期保留额外逻辑。

python
import torch
from torch import nn

def make_shape_hook(name: str):
    # 每个钩子在对应层完成前向计算后执行
    def hook(module: nn.Module, inputs: tuple, output: torch.Tensor) -> None:
        input_shape = tuple(inputs[0].shape)
        output_shape = tuple(output.shape)
        print(f'{name}: {input_shape} -> {output_shape}')

    return hook

def main() -> None:
    model = nn.Sequential(
        nn.Linear(6, 10),
        nn.ReLU(),
        nn.Linear(10, 4),
    )

    # 为每个子模块注册独立钩子,保留句柄以便稍后移除
    handles = []
    for index, layer in model.named_children():
        layer_name = f'{index}-{layer.__class__.__name__}'
        handles.append(layer.register_forward_hook(make_shape_hook(layer_name)))

    x = torch.randn(5, 6)
    y = model(x)
    print(f'最终输出: {tuple(y.shape)}')

    for handle in handles:
        handle.remove()

if __name__ == '__main__':
    main()

预期输出

text
0-Linear: (5, 6) -> (5, 10)
1-ReLU: (5, 10) -> (5, 10)
2-Linear: (5, 10) -> (5, 4)
最终输出: (5, 4)

形状为何这样变化

nn.Linear(6, 10) 内部保存形状为 (10, 6) 的权重矩阵和形状为 (10,) 的偏置。对输入 (5, 6) 执行线性变换时,6 个输入特征与权重的第二个维度匹配,最终为 5 个样本分别生成 10 个新特征。

ReLU 是逐元素运算,只把负值替换为 0,因此不会改变维度。最后的 Linear(10, 4) 再把每个样本的 10 个隐藏特征映射为 4 个输出值。

维度错误的定位顺序

遇到 mat1 and mat2 shapes cannot be multiplied 一类错误时,先打印送入当前线性层的张量形状,再检查该层的 in_features。输入最后一个维度必须与 in_features 完全一致。

若输入来自图像或序列,还要确认展平、池化或切片是否改变了特征数量。排查时从报错层向前追踪,不要直接修改线性层参数去迎合一个来源不明的错误形状。

本课总结

  • 二维全连接输入通常使用 (批量大小, 特征数) 的布局
  • 线性层改变最后一个特征维度,逐元素激活函数通常保持形状不变
  • 前向钩子和逐层打印是定位形状错误的可靠方法

下一课预告

下一课将把网络输出与损失函数连接起来,理解预测值如何转化为可优化的误差,并为反向传播准备计算图。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

前向传播与张量形状

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通