机器学习与深度学习 / 系统课时

残差连接

残差连接

残差连接让卷积模块不必直接学习完整映射,而是只学习输入需要修正的部分。本课将从计算路径和梯度传播两个角度理解其作用,并用 PyTorch 实现支持恒等捷径与投影捷径的残差模块。

学习目标

  • 理解残差映射 F(x) + x 的含义
  • 说明捷径分支为何有助于深层网络训练
  • 实现并验证一个基础残差模块

从完整映射到残差映射

普通卷积模块直接学习目标映射 H(x)。残差模块把它改写为:

H(x)=F(x)+xH(x) = F(x) + x

其中,F(x) 是卷积分支学习到的修正量,x 通过捷径分支直接传到输出。当理想变换接近恒等映射时,卷积分支只需把 F(x) 学到接近 0,比重新拟合整个 H(x) 更容易。

基础残差模块的双分支计算路径

捷径为何改善训练

加法节点对输入 x 保留了一条直接路径。反向传播时,梯度既可以经过卷积分支,也可以沿捷径分支传播,因此深层网络不必完全依赖许多卷积层连续传递梯度。

残差连接并不保证梯度永远稳定,也不能替代合适的初始化、归一化和学习率设置。它提供的是更容易优化的结构,使网络加深后至少可以通过接近恒等映射避免明显退化。

实现基础残差模块

当输入与输出的通道数、空间尺寸相同时,可以直接相加;否则要用 1×1 卷积调整捷径分支。下面的模块同时覆盖这两种情况。

python
import torch
from torch import nn

class BasicResidualBlock(nn.Module):
    def __init__(self, in_channels: int, out_channels: int, stride: int = 1):
        super().__init__()

        # 残差分支负责学习输入需要修正的部分
        self.residual = nn.Sequential(
            nn.Conv2d(
                in_channels,
                out_channels,
                kernel_size=3,
                stride=stride,
                padding=1,
                bias=False,
            ),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(inplace=True),
            nn.Conv2d(
                out_channels,
                out_channels,
                kernel_size=3,
                padding=1,
                bias=False,
            ),
            nn.BatchNorm2d(out_channels),
        )

        # 形状不一致时,用投影捷径完成通道和尺寸对齐
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv2d(
                    in_channels,
                    out_channels,
                    kernel_size=1,
                    stride=stride,
                    bias=False,
                ),
                nn.BatchNorm2d(out_channels),
            )
        else:
            self.shortcut = nn.Identity()

        self.activation = nn.ReLU(inplace=True)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.activation(self.residual(x) + self.shortcut(x))

def main() -> None:
    x = torch.randn(2, 16, 32, 32)

    same_shape_block = BasicResidualBlock(16, 16)
    downsample_block = BasicResidualBlock(16, 32, stride=2)

    print(same_shape_block(x).shape)
    print(downsample_block(x).shape)

if __name__ == "__main__":
    main()

预期输出:

text
torch.Size([2, 16, 32, 32])
torch.Size([2, 32, 16, 16])

第一组输出使用恒等捷径,输入输出形状相同。第二组输出通过步幅为 2 的投影捷径,把高宽减半并把通道数从 16 调整为 32。

相加前必须满足的条件

逐元素相加要求两条分支的张量形状完全一致。只要批次、通道、高度或宽度中有一项不同,PyTorch 就会报尺寸不匹配错误。

投影捷径的职责只是对齐形状,不应随意加入复杂变换,否则会削弱直接信息通路。实践中通常使用 1×1 卷积和与残差分支一致的步幅。

常见错误:只修改残差分支的通道数或步幅,却仍让捷径分支使用 nn.Identity()。遇到相加报错时,先打印两条分支的 shape,再检查通道数和空间尺寸。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

残差连接

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通