机器学习与深度学习 / 技术文章

卷积神经网络在提取什么特征

卷积层用同一组权重检查不同位置的局部窗口,把每个窗口变成一组响应值。哪些响应对任务有用,取决于训练目标和数据。下面以图像分类为例,从一个能手算的边缘响应推到整张图的特征和诊断方法。

一个输出位置怎样计算

设输入有 CinC_{\text{in}} 个通道,使用普通二维卷积(步幅 1、无填充、无分组、无膨胀)。省略批次索引,第 oo 个输出通道在位置 (i,j)(i,j) 的值为:

Yo,i,j=bo+∑c=0Cin−1∑m=0kh−1∑n=0kw−1Wo,c,m,nXc,i+m,j+nY_{o,i,j}=b_o+\sum_{c=0}^{C_{\text{in}}-1}\sum_{m=0}^{k_h-1}\sum_{n=0}^{k_w-1}W_{o,c,m,n}X_{c,i+m,j+n}

一个输出通道的核同时覆盖窗口里的所有输入通道。以 RGB 图像为例,一个 3×33\times3 核组包含三个 3×33\times3 权重矩阵,分别乘上红、绿、蓝通道的局部像素,结果加总为一个响应。PyTorch 的 Conv2d 按上式直接乘加,数学上称为互相关。核在不同位置重复使用,输出通道之间则有各自的权重。PyTorch 把批次、通道、高、宽依次记为 N, C, H, W。

用 PyTorch 看水平边缘的响应

下面使用两组固定权重,以便手算。第一个核对窗口底部求和并减去顶部,第二个核对右侧求和并减去左侧。图像上半部分暗、下半部分亮,在跨越亮暗分界线的窗口里,第一个核响应为 33。把亮暗反转后,同一位置响应为 −3-3。均匀区域的两个响应都为零。

python
import torch
from torch import nn

image = torch.zeros(1, 1, 5, 5)
image[:, :, 2:, :] = 1
layer = nn.Conv2d(1, 2, kernel_size=3, bias=False)
with torch.no_grad():
    layer.weight.copy_(torch.tensor([
        [[[-1., -1., -1.], [0., 0., 0.], [1., 1., 1.]]],
        [[[-1., 0., 1.], [-1., 0., 1.], [-1., 0., 1.]]],
    ]))
    features = layer(image)
    reversed_features = layer(1 - image)
    vertical_features = layer(image.transpose(-1, -2))

assert features.shape == (1, 2, 3, 3)
assert features[0, 0, :, 0].tolist() == [3.0, 3.0, 0.0]
assert reversed_features[0, 0, :, 0].tolist() == [-3.0, -3.0, 0.0]
assert torch.count_nonzero(features[0, 1]).item() == 0
assert torch.count_nonzero(vertical_features[0, 0]).item() == 0
assert vertical_features[0, 1, 0].tolist() == [3.0, 3.0, 0.0]
print("水平边缘的响应:", features[0, :, 0, 0].tolist())
print("垂直边缘的响应:", vertical_features[0, :, 0, 0].tolist())

两个输出依次为 [3.0, 0.0] 和 [0.0, 3.0]。这些是激活函数之前的值。如果下一层使用 ReLU,负响应会变为零,因此特征图还取决于取的是哪一层、激活之前还是之后的输出。

参数共享、平移和感受野

在上例的有效区域内,步幅为 1 时,把局部图案平移一个像素,同一组权重会在相应新位置产生同样的响应。这叫平移等变。分类的平移不变则要求最终类别输出在输入平移后保持一致。边界填充值会改变窗口,步幅或池化下采样会改变采样位置,因此共享权重本身无法保证最终预测不变。

两层步幅 1 的 3×33\times3 卷积叠加后,第二层一个位置在原图上理论上能受到 5×55\times5 区域影响。第一层的三个相邻位置各覆盖三个输入位置,合起来沿每轴覆盖五个。更多层可以继续组合更大区域,步幅和膨胀也会改变感受野。理论覆盖范围内每个像素的实际影响取决于训练后的权重、激活和当前输入。

特征层次和训练如何相互作用

图像分类器的浅层常响应局部边缘、颜色对比和纹理。中间层可以组合角点、局部形状或重复纹理,高层可组合对分类有用的较大区域。汽车分类中,车轮和车身轮廓可以共同支持预测。实际网络也可能在多个通道上共同编码这些线索,单个通道会响应多种图案。分类头通过池化或其他聚合方式使用这些特征。

训练时,损失对模型的预测给出反馈,反向传播计算各层参数的梯度,优化器据此更新卷积核。同一权重在各个窗口中的使用都会对梯度产生贡献。网络会利用有助于降低训练损失的线索。若训练集中汽车总在公路背景里,背景也可能被用来分类,即使数据设计者想让模型识别车辆本身。

排查模型是否依赖背景

  1. 对正确样本和错误样本保存同一层、同一通道的特征图,并使用一致的色标。高响应表示该通道在该处活跃。
  2. 用 Grad-CAM 查看指定类别的分数与选定层空间区域的关系。其热图分辨率受该层特征图大小限制,上采样后看起来更细也不会增加定位信息。
  3. 比较保留目标、替换背景的成组样本,记录同一个类别的分数变化。再加入改变目标但保留背景的对照。遮挡也可作为干预,但遮挡块可能引入训练时没出现过的图案,应结合多种替换和独立样本复核。

相关实现和实验可参考 PyTorch 2.7.1 卷积层源码、卷积网络对平移的敏感性、卷积层可视化研究与 Grad-CAM 论文。

目录与阅读设置

记录一个想法

卷积神经网络在提取什么特征

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通