机器学习与深度学习 / 系统课时
用 Grad-CAM 定位判别区域
用 Grad-CAM 定位判别区域
当模型把图片判成某个类别时,仅有类别概率并不能说明它依据了什么。Grad-CAM 利用目标类别对卷积特征的梯度,为空间位置分配重要性,再把热力图叠加到原图上。本节完成一次可运行的 Grad-CAM,并用它判断模型关注的是主体、背景还是数据捷径。
学习目标
- 理解 Grad-CAM 如何把目标类别梯度转换为通道权重和空间热力图
- 用 PyTorch 为 ResNet18 的最后卷积层生成并保存 Grad-CAM 叠加图
- 根据热力图位置识别背景依赖、错误关注和解释分辨率不足等问题
Grad-CAM 在算什么
设目标卷积层第 个通道的特征图为 ,目标类别 的分类分数为 。Grad-CAM 先对每个通道的梯度做全局平均,得到该通道对类别 的重要性权重:
再把各通道按权重求和并经过 ReLU,只保留对目标类别有正向贡献的区域:
这里通常直接对 softmax 之前的类别分数反向传播,因为它能保留更直接的梯度信号。目标层一般选最后一个卷积层:太浅时空间细节多但语义弱,太深到全局池化之后又已经失去二维空间结构。
从前向结果回溯判别区域
Grad-CAM 同时依赖前向激活和反向梯度,因此需要追踪至少四个对象:输入图像、目标卷积层激活、目标类别分数、该分数对激活的梯度。权重并不是模型中预先存在的参数,而是针对“这张图、这个类别”临时计算出来的。

这也解释了为什么 Grad-CAM 不能脱离目标类别单独存在。对同一张图分别解释“猫”和“狗”,通道权重可能完全不同;诊断误分类时,应显式指定模型实际预测的错误类别,必要时再与真实类别的热力图并排比较。
生成并叠加热力图
下面脚本使用 ImageNet 预训练 ResNet18,把目标层设为 model.layer4[-1].conv2。把 <PATH> 替换为本地图片路径。脚本会捕获前向激活,在输出张量上注册梯度钩子,然后计算、放大并叠加热力图。
from pathlib import Path
import matplotlib.pyplot as plt
import numpy as np
import torch
import torch.nn.functional as F
from PIL import Image
from torchvision import transforms
from torchvision.models import ResNet18_Weights, resnet18
IMAGE_PATH = Path('<PATH>')
weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
target_layer = model.layer4[-1].conv2
resize_and_crop = transforms.Compose([
transforms.Resize(256),
transforms.CenterCrop(224),
])
display_image = resize_and_crop(Image.open(IMAGE_PATH).convert('RGB'))
to_model_input = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize(
mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225],
),
])
x = to_model_input(display_image).unsqueeze(0)
saved = {}
def capture_activation(_module, _inputs, output):
saved['activation'] = output
output.register_hook(lambda grad: saved.__setitem__('gradient', grad))
handle = target_layer.register_forward_hook(capture_activation)
logits = model(x)
target_class = logits.argmax(dim=1).item()
model.zero_grad(set_to_none=True)
logits[0, target_class].backward()
handle.remove()
activation = saved['activation'][0]
gradient = saved['gradient'][0]
channel_weights = gradient.mean(dim=(1, 2), keepdim=True)
cam = torch.relu((channel_weights * activation).sum(dim=0))
cam = (cam - cam.min()) / (cam.max() - cam.min() + 1e-8)
cam = F.interpolate(
cam[None, None],
size=(224, 224),
mode='bilinear',
align_corners=False,
)[0, 0].detach().cpu()
base = np.asarray(display_image, dtype=np.float32) / 255.0
heatmap = plt.get_cmap('jet')(cam.numpy())[..., :3]
overlay = np.clip(0.55 * base + 0.45 * heatmap, 0.0, 1.0)
Image.fromarray((overlay * 255).astype(np.uint8)).save('gradcam_overlay.png')
print(f'target_class={target_class}')
print('gradcam_shape=', tuple(cam.shape))
print('saved=gradcam_overlay.png')预期输出
target_class=<ID>
gradcam_shape= (224, 224)
saved=gradcam_overlay.png<ID> 是当前输入图像对应的 ImageNet 类别索引,实际值会随图片变化;首次运行若需要下载预训练权重,终端还会出现下载进度。
用热力图做诊断
如果高响应主要覆盖目标主体,说明模型至少在空间上关注了合理区域;如果热区稳定落在背景纹理、边框、水印或拍摄环境上,就要警惕数据集中的“捷径特征”。误分类样本尤其值得检查,因为它能直接暴露模型为什么被错误线索吸引。
| 观察到的热力图 | 更可能的问题 |
|---|---|
| 热区集中在背景固定位置 | 背景与标签存在强相关,模型学到数据偏差 |
| 只覆盖目标很小的一角 | 模型可能依赖局部纹理而非完整形状 |
| 几乎整图均匀发热 | 目标层过粗、梯度区分度低,或模型没有形成稳定判别区域 |
| 正确类与错误类热区明显不同 | 可进一步比较类别竞争和混淆来源 |
不要把“红色区域”直接解释为因果证据。Grad-CAM 展示的是局部梯度下的类别敏感区域,它会受目标层、模型非线性和梯度状态影响。真正要验证“删掉这里是否会改变预测”,还应配合遮挡实验、区域替换或反事实样本。
选择目标层并控制解释边界
最后卷积层通常是分类模型的默认选择,因为它兼顾语义与空间位置,但不是固定答案。若热力图只有很粗的 7×7 结构,可以尝试稍浅的层换取更高分辨率,再比较解释是否仍指向同一主体;如果两层结论完全冲突,说明单张 Grad-CAM 不足以支撑判断。
使用 Grad-CAM 诊断时,至少同时记录原图、预测类别、置信分数、目标层和热力图。这样才能把“模型看哪里”与“模型判什么”放在同一证据链中,并在修改数据或模型后复现对比。