机器学习与深度学习 / 系统课时

用 Grad-CAM 定位判别区域

用 Grad-CAM 定位判别区域

当模型把图片判成某个类别时,仅有类别概率并不能说明它依据了什么。Grad-CAM 利用目标类别对卷积特征的梯度,为空间位置分配重要性,再把热力图叠加到原图上。本节完成一次可运行的 Grad-CAM,并用它判断模型关注的是主体、背景还是数据捷径。

学习目标

  • 理解 Grad-CAM 如何把目标类别梯度转换为通道权重和空间热力图
  • 用 PyTorch 为 ResNet18 的最后卷积层生成并保存 Grad-CAM 叠加图
  • 根据热力图位置识别背景依赖、错误关注和解释分辨率不足等问题

Grad-CAM 在算什么

设目标卷积层第 kk 个通道的特征图为 AkA^k,目标类别 cc 的分类分数为 ycy^c。Grad-CAM 先对每个通道的梯度做全局平均,得到该通道对类别 cc 的重要性权重:

αkc=1HW∑i∑j∂yc∂Aijk\alpha_k^c=\frac{1}{HW}\sum_i\sum_j\frac{\partial y^c}{\partial A_{ij}^k}

再把各通道按权重求和并经过 ReLU,只保留对目标类别有正向贡献的区域:

LGrad−CAMc=ReLU⁡(∑kαkcAk)L_{\mathrm{Grad-CAM}}^c=\operatorname{ReLU}\left(\sum_k \alpha_k^c A^k\right)

这里通常直接对 softmax 之前的类别分数反向传播,因为它能保留更直接的梯度信号。目标层一般选最后一个卷积层:太浅时空间细节多但语义弱,太深到全局池化之后又已经失去二维空间结构。

从前向结果回溯判别区域

Grad-CAM 同时依赖前向激活和反向梯度,因此需要追踪至少四个对象:输入图像、目标卷积层激活、目标类别分数、该分数对激活的梯度。权重并不是模型中预先存在的参数,而是针对“这张图、这个类别”临时计算出来的。

Grad-CAM 前向与反向计算链路

这也解释了为什么 Grad-CAM 不能脱离目标类别单独存在。对同一张图分别解释“猫”和“狗”,通道权重可能完全不同;诊断误分类时,应显式指定模型实际预测的错误类别,必要时再与真实类别的热力图并排比较。

生成并叠加热力图

下面脚本使用 ImageNet 预训练 ResNet18,把目标层设为 model.layer4[-1].conv2。把 <PATH> 替换为本地图片路径。脚本会捕获前向激活,在输出张量上注册梯度钩子,然后计算、放大并叠加热力图。

python
from pathlib import Path

import matplotlib.pyplot as plt
import numpy as np
import torch
import torch.nn.functional as F
from PIL import Image
from torchvision import transforms
from torchvision.models import ResNet18_Weights, resnet18

IMAGE_PATH = Path('<PATH>')

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
target_layer = model.layer4[-1].conv2

resize_and_crop = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
])
display_image = resize_and_crop(Image.open(IMAGE_PATH).convert('RGB'))

to_model_input = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(
        mean=[0.485, 0.456, 0.406],
        std=[0.229, 0.224, 0.225],
    ),
])
x = to_model_input(display_image).unsqueeze(0)

saved = {}

def capture_activation(_module, _inputs, output):
    saved['activation'] = output
    output.register_hook(lambda grad: saved.__setitem__('gradient', grad))

handle = target_layer.register_forward_hook(capture_activation)

logits = model(x)
target_class = logits.argmax(dim=1).item()
model.zero_grad(set_to_none=True)
logits[0, target_class].backward()
handle.remove()

activation = saved['activation'][0]
gradient = saved['gradient'][0]
channel_weights = gradient.mean(dim=(1, 2), keepdim=True)

cam = torch.relu((channel_weights * activation).sum(dim=0))
cam = (cam - cam.min()) / (cam.max() - cam.min() + 1e-8)
cam = F.interpolate(
    cam[None, None],
    size=(224, 224),
    mode='bilinear',
    align_corners=False,
)[0, 0].detach().cpu()

base = np.asarray(display_image, dtype=np.float32) / 255.0
heatmap = plt.get_cmap('jet')(cam.numpy())[..., :3]
overlay = np.clip(0.55 * base + 0.45 * heatmap, 0.0, 1.0)
Image.fromarray((overlay * 255).astype(np.uint8)).save('gradcam_overlay.png')

print(f'target_class={target_class}')
print('gradcam_shape=', tuple(cam.shape))
print('saved=gradcam_overlay.png')

预期输出

text
target_class=<ID>
gradcam_shape= (224, 224)
saved=gradcam_overlay.png

<ID> 是当前输入图像对应的 ImageNet 类别索引,实际值会随图片变化;首次运行若需要下载预训练权重,终端还会出现下载进度。

用热力图做诊断

如果高响应主要覆盖目标主体,说明模型至少在空间上关注了合理区域;如果热区稳定落在背景纹理、边框、水印或拍摄环境上,就要警惕数据集中的“捷径特征”。误分类样本尤其值得检查,因为它能直接暴露模型为什么被错误线索吸引。

观察到的热力图 更可能的问题
热区集中在背景固定位置 背景与标签存在强相关,模型学到数据偏差
只覆盖目标很小的一角 模型可能依赖局部纹理而非完整形状
几乎整图均匀发热 目标层过粗、梯度区分度低,或模型没有形成稳定判别区域
正确类与错误类热区明显不同 可进一步比较类别竞争和混淆来源

不要把“红色区域”直接解释为因果证据。Grad-CAM 展示的是局部梯度下的类别敏感区域,它会受目标层、模型非线性和梯度状态影响。真正要验证“删掉这里是否会改变预测”,还应配合遮挡实验、区域替换或反事实样本。

选择目标层并控制解释边界

最后卷积层通常是分类模型的默认选择,因为它兼顾语义与空间位置,但不是固定答案。若热力图只有很粗的 7×7 结构,可以尝试稍浅的层换取更高分辨率,再比较解释是否仍指向同一主体;如果两层结论完全冲突,说明单张 Grad-CAM 不足以支撑判断。

使用 Grad-CAM 诊断时,至少同时记录原图、预测类别、置信分数、目标层和热力图。这样才能把“模型看哪里”与“模型判什么”放在同一证据链中,并在修改数据或模型后复现对比。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Grad-CAM 定位判别区域

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通