机器学习与深度学习 / 系统课时
前向传播与张量形状
前向传播与张量形状
本课将跟踪一批数据经过线性层和激活函数时的形状变化,帮助你快速判断批量维度、特征维度以及层与层之间是否能够正确连接。
学习目标
- 区分张量中的批量维度与特征维度
- 追踪前向传播过程中每一层的输入和输出形状
- 按固定顺序定位矩阵维度不匹配问题
先认清批量维度和特征维度
全连接网络通常接收形状为 (B, F) 的二维张量。B 是一次并行处理的样本数量,称为批量大小;F 是每个样本包含的特征数量。
当张量经过 nn.Linear(in_features, out_features) 时,最后一个维度会从 in_features 变成 out_features,批量维度保持不变。因此 (B, 6) 经过 Linear(6, 10) 后会得到 (B, 10)。

用前向钩子追踪每一层
PyTorch 的前向钩子可以在模块执行后读取输入和输出,适合调试复杂网络。钩子只用于观察,不会改变张量内容;调试完成后应移除,避免长期保留额外逻辑。
import torch
from torch import nn
def make_shape_hook(name: str):
# 每个钩子在对应层完成前向计算后执行
def hook(module: nn.Module, inputs: tuple, output: torch.Tensor) -> None:
input_shape = tuple(inputs[0].shape)
output_shape = tuple(output.shape)
print(f'{name}: {input_shape} -> {output_shape}')
return hook
def main() -> None:
model = nn.Sequential(
nn.Linear(6, 10),
nn.ReLU(),
nn.Linear(10, 4),
)
# 为每个子模块注册独立钩子,保留句柄以便稍后移除
handles = []
for index, layer in model.named_children():
layer_name = f'{index}-{layer.__class__.__name__}'
handles.append(layer.register_forward_hook(make_shape_hook(layer_name)))
x = torch.randn(5, 6)
y = model(x)
print(f'最终输出: {tuple(y.shape)}')
for handle in handles:
handle.remove()
if __name__ == '__main__':
main()预期输出
0-Linear: (5, 6) -> (5, 10)
1-ReLU: (5, 10) -> (5, 10)
2-Linear: (5, 10) -> (5, 4)
最终输出: (5, 4)形状为何这样变化
nn.Linear(6, 10) 内部保存形状为 (10, 6) 的权重矩阵和形状为 (10,) 的偏置。对输入 (5, 6) 执行线性变换时,6 个输入特征与权重的第二个维度匹配,最终为 5 个样本分别生成 10 个新特征。
ReLU 是逐元素运算,只把负值替换为 0,因此不会改变维度。最后的 Linear(10, 4) 再把每个样本的 10 个隐藏特征映射为 4 个输出值。
维度错误的定位顺序
遇到 mat1 and mat2 shapes cannot be multiplied 一类错误时,先打印送入当前线性层的张量形状,再检查该层的 in_features。输入最后一个维度必须与 in_features 完全一致。
若输入来自图像或序列,还要确认展平、池化或切片是否改变了特征数量。排查时从报错层向前追踪,不要直接修改线性层参数去迎合一个来源不明的错误形状。
本课总结
- 二维全连接输入通常使用
(批量大小, 特征数)的布局 - 线性层改变最后一个特征维度,逐元素激活函数通常保持形状不变
- 前向钩子和逐层打印是定位形状错误的可靠方法
下一课预告
下一课将把网络输出与损失函数连接起来,理解预测值如何转化为可优化的误差,并为反向传播准备计算图。