机器学习与深度学习 / 系统课时

可视化卷积特征

可视化卷积特征

卷积特征图能直接显示某一层对输入图像哪些区域产生了响应。本篇会从训练好的 Keras 模型抽取中间层输出,把多个通道画成灰度图,并说明如何比较浅层与深层特征而不被颜色缩放误导。

学习目标

  • 用 tf.keras.Model 构造返回中间层激活的特征提取模型。
  • 将四维卷积输出按通道可视化并核对张量形状。
  • 根据层深、激活函数和统一色阶正确解读特征图。

从中间卷积层取出激活

卷积层输出通常是 (batch, height, width, channels)。例如输入为 32×32×1,第一层 Conv2D(8, padding="same") 的输出是 (1, 32, 32, 8);经过 MaxPooling2D() 后再进入 Conv2D(16),空间尺寸会变成 16×16。

最稳妥的做法是保留原模型输入,再把多个目标层的 output 同时作为新模型输出。这样一次前向计算就能拿到多层特征,不需要修改原模型权重。

输入图像经过浅层卷积、池化与深层卷积后形成多通道特征图

运行一个可复现的特征图示例

下面生成“竖条纹”和“横条纹”两类 32×32 灰度图,训练一个很小的 CNN,然后提取 conv1 与 conv2 的激活并保存为 conv_features.png。示例不依赖外部数据下载,适合直接验证中间层提取流程。

python
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt

tf.random.set_seed(7)
rng = np.random.default_rng(7)

images = np.zeros((400, 32, 32, 1), dtype="float32")
labels = np.zeros((400,), dtype="int32")

for i in range(400):
    if i % 2 == 0:
        images[i, :, 14:18, 0] = 1.0
        labels[i] = 0
    else:
        images[i, 14:18, :, 0] = 1.0
        labels[i] = 1

images += rng.normal(0.0, 0.08, images.shape).astype("float32")
images = np.clip(images, 0.0, 1.0)

inputs = tf.keras.Input(shape=(32, 32, 1), name="image")
x = tf.keras.layers.Conv2D(8, 3, padding="same", activation="relu", name="conv1")(inputs)
x = tf.keras.layers.MaxPooling2D()(x)
x = tf.keras.layers.Conv2D(16, 3, padding="same", activation="relu", name="conv2")(x)
x = tf.keras.layers.GlobalAveragePooling2D()(x)
outputs = tf.keras.layers.Dense(2)(x)

model = tf.keras.Model(inputs, outputs)
model.compile(
    optimizer=tf.keras.optimizers.Adam(1e-3),
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    metrics=["accuracy"],
)
model.fit(images, labels, epochs=3, batch_size=32, verbose=0)

feature_model = tf.keras.Model(
    inputs=model.input,
    outputs=[
        model.get_layer("conv1").output,
        model.get_layer("conv2").output,
    ],
)

sample = images[:1]
conv1_map, conv2_map = feature_model(sample, training=False)

fig, axes = plt.subplots(2, 6, figsize=(12, 4))
for col in range(6):
    axes[0, col].imshow(conv1_map[0, :, :, col], cmap="gray")
    axes[1, col].imshow(conv2_map[0, :, :, col], cmap="gray")
    axes[0, col].axis("off")
    axes[1, col].axis("off")

axes[0, 0].set_ylabel("conv1")
axes[1, 0].set_ylabel("conv2")
plt.tight_layout()
plt.savefig("conv_features.png", dpi=150)
plt.close()

print("conv1:", conv1_map.shape)
print("conv2:", conv2_map.shape)
print("saved: conv_features.png")

预期输出

text
conv1: (1, 32, 32, 8)
conv2: (1, 16, 16, 16)
saved: conv_features.png

正确读取一张特征图

如果卷积层使用 ReLU,数值 0 表示该位置没有正响应,较亮区域表示该通道在此处激活更强。浅层常能看到边缘、方向或局部纹理响应;更深层会组合更大的感受野信息,但某个通道并不天然对应“眼睛”“轮子”这类固定标签。

检查时可固定三件事:同一输入图像、相同层、相同通道索引。然后换一张输入,观察响应位置是否随目标结构变化。若只看一张图片,很容易把偶然噪声当作该通道的稳定功能。

避免色阶造成的误判

imshow 默认会根据每张图自己的最小值和最大值拉伸颜色,因此两个实际幅度差很多的通道,也可能看起来一样“亮”。只想观察空间纹理时,这种独立缩放很方便;要比较通道强度时,应统一 vmin 与 vmax。

例如某层所有通道数值范围是 0~3.2,可固定 vmin=0.0, vmax=3.2。若少量极端值把画面压暗,可先计算全层的 99% 分位数作为 vmax,但要在实验记录中注明这个裁剪规则,避免不同实验之间使用不同色阶。

排查看不到有效特征的问题

如果特征图几乎全黑,先打印该层的最小值、最大值和零值比例。ReLU 后大面积为 0 可能只是当前输入没有激活这些通道,也可能说明训练不充分、学习率过大或该层出现大量“死亡”激活。

如果所有通道都像随机噪点,先确认加载的是训练后的模型,而不是刚创建的新实例;再确认图像预处理与训练阶段一致,例如训练时输入范围是 0~1,分析时却直接传入 0~255,会让激活尺度完全失真。最后核对目标层名称,可用 model.summary() 确认 conv1、conv2 实际对应的空间尺寸与通道数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

可视化卷积特征

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通