机器学习与深度学习 / 系统课时

可视化卷积核与中间特征

可视化卷积核与中间特征

只看分类准确率很难判断 CNN 到底学到了什么。本节直接提取卷积权重和中间层特征图,用同一张输入比较浅层与深层的响应,建立“卷积核是参数、特征图是输入经过参数后的结果”这一观察框架,并用可视化结果定位失效通道和异常关注区域。

学习目标

  • 区分卷积核权重与中间特征图,知道两类图分别回答什么问题
  • 用 PyTorch 提取卷积权重,并通过前向钩子捕获指定层输出
  • 根据空间分辨率、通道响应和层级变化判断模型可能存在的问题

先分清卷积核和特征图

卷积核是模型训练得到的参数。例如 ResNet18 的第一层卷积权重形状是 (64, 3, 7, 7),表示 64 个卷积核,每个卷积核同时观察 RGB 三个输入通道。它适合回答“这一层学到了什么局部模式”。

特征图则依赖具体输入。某个通道在一张图上响应很强,在另一张图上可能几乎为零。它更适合回答“这张输入经过这一层后,哪些空间位置和哪些通道被激活”。

观察深层网络时不要只比较“图像是否好看”。随着下采样进行,空间尺寸会缩小、通道数通常会增大,后层单个位置对应原图上更大的感受野,因此响应会从边缘、纹理逐步组合成更抽象的结构。

提取权重和中间特征

下面示例使用 torchvision 的 ImageNet 预训练 ResNet18。把 <PATH> 替换为本地图片路径;首次运行若本机没有权重缓存,torchvision 会下载权重,因此需要可访问模型文件的环境。脚本会保存第一层卷积核,以及 layer1 和 layer4 的前 16 个通道。

python
from pathlib import Path

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18
from torchvision.utils import make_grid, save_image

IMAGE_PATH = Path('<PATH>')

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
x = weights.transforms()(Image.open(IMAGE_PATH).convert('RGB')).unsqueeze(0)

captured = {}

def save_output(name):
    def hook(_module, _inputs, output):
        captured[name] = output.detach().cpu()
    return hook

handles = [
    model.layer1.register_forward_hook(save_output('layer1')),
    model.layer4.register_forward_hook(save_output('layer4')),
]

with torch.no_grad():
    model(x)

for handle in handles:
    handle.remove()

def normalize_each(tensor):
    dims = tuple(range(1, tensor.ndim))
    low = tensor.amin(dim=dims, keepdim=True)
    high = tensor.amax(dim=dims, keepdim=True)
    return (tensor - low) / (high - low + 1e-6)

kernels = normalize_each(model.conv1.weight.detach().cpu()[:16])
save_image(make_grid(kernels, nrow=4, padding=2), 'conv1_kernels.png')

for name in ('layer1', 'layer4'):
    maps = captured[name][0, :16].unsqueeze(1)
    maps = normalize_each(maps)
    save_image(make_grid(maps, nrow=4, padding=2), f'{name}_features.png')

print('conv1:', tuple(model.conv1.weight.shape))
print('layer1:', tuple(captured['layer1'].shape))
print('layer4:', tuple(captured['layer4'].shape))
print('saved=conv1_kernels.png,layer1_features.png,layer4_features.png')

预期输出

text
conv1: (64, 3, 7, 7)
layer1: (1, 64, 56, 56)
layer4: (1, 512, 7, 7)
saved=conv1_kernels.png,layer1_features.png,layer4_features.png

如果首次下载预训练权重,终端还会出现下载进度;图片实际路径由 <PATH> 决定,不影响上述张量形状。

按层级读懂响应变化

比较中间特征时,最好固定同一张输入、同一套预处理,并让模型处于 eval() 模式。浅层通常保留较高空间分辨率,便于看到边缘、方向和纹理响应;深层分辨率更低,但每个位置聚合了更大范围的信息。

卷积核与中间特征的层级变化

同一层内部也要看通道差异。有些通道只在物体轮廓上高响应,有些偏向重复纹理,有些接近全黑。偶尔出现低响应并不等于“坏通道”,但如果大量通道长期近似常数,才值得继续检查初始化、归一化、激活函数或训练是否已经退化。

用可视化定位模型问题

可视化最有价值的用法不是给某个通道强行命名,而是寻找异常模式。若浅层卷积核几乎都相似,可能说明训练没有充分分化;若中间层大量通道接近全零,可检查激活饱和、过强正则化或错误的归一化设置;若深层只在背景固定纹理上强响应,则可能存在数据偏差。

比较不同样本时必须保持同一种归一化方式。为了看清每个通道,上例对每张特征图单独缩放到 0~1,这适合观察形状,却不能直接比较“哪个通道的绝对激活更大”。需要比较强度时,应额外统计原始激活的均值、最大值或分位数,而不是只凭亮度判断。

因此,卷积核可视化用于检查“参数学成什么样”,中间特征用于检查“当前输入触发了什么”。把两者放在同一条前向链路里观察,才能区分是参数本身异常,还是特定样本触发了异常响应。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

可视化卷积核与中间特征

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通