机器学习与深度学习 / 系统课时
计算多层网络的感受野
计算多层网络的感受野
单个 3×3 卷积只能观察局部区域,但卷积层连续堆叠后,一个深层特征会间接依赖越来越大的输入范围。本节建立一套逐层计算方法,同时跟踪感受野和采样间距,从网络结构直接判断某个特征究竟覆盖了多大的原图区域。
学习目标
- 掌握多层卷积感受野与采样间距的递推计算方法
- 理解步幅为什么会放大后续卷积带来的感受野增长
- 能根据卷积核、步幅和空洞率判断深层特征覆盖范围
同时跟踪感受野和采样间距
只记录卷积核大小无法正确计算多层网络。除了感受野 ,还要维护相邻特征点映射回输入时相隔多少像素,也就是采样间距 。
输入层从 、 开始。第 层卷积核大小为 、步幅为 时:
第一条公式说明,新卷积核在上一层横跨的额外位置,需要乘以上一层每个位置在原图中的间距。第二条公式说明,一旦出现步幅大于 1 的下采样,后续特征点在原图上的间距也会随之增大。

逐层计算一个卷积网络
考虑三层卷积:第一层使用 3×3、步幅 1;第二层使用 3×3、步幅 2;第三层继续使用 3×3、步幅 1。下面的程序按照递推公式计算每层结果。
layers = [
("conv1", 3, 1),
("conv2", 3, 2),
("conv3", 3, 1),
]
receptive_field = 1
jump = 1
for name, kernel, stride in layers:
# 当前卷积核跨过的上一层位置,需要换算成输入像素间距。
receptive_field += (kernel - 1) * jump
jump *= stride
print(f"{name}: receptive_field={receptive_field}, jump={jump}")预期输出
conv1: receptive_field=3, jump=1
conv2: receptive_field=5, jump=2
conv3: receptive_field=9, jump=2第三层仍然只是 3×3 卷积,但它的每个相邻位置在输入中已经相隔 2 个像素,因此这一层把感受野从 5 扩大到 9,而不是只扩大到 7。步幅改变的不只是特征图尺寸,也改变了后续各层扩大感受野的速度。
把池化和空洞卷积纳入计算
池化层同样具有卷积核和步幅,因此可以直接使用相同公式。例如 2×2、步幅 2 的池化会增加感受野,同时把 乘以 2。
空洞卷积需要先把普通卷积核换算成有效卷积核。卷积核大小为 、空洞率为 时,有效大小为 。例如 3×3、空洞率 2 的卷积在感受野计算中等价于大小为 5 的有效卷积核,但参数数量仍然按 3×3 计算。
Padding 通常不会改变理论感受野的尺寸递推,不过边缘位置的一部分感受野可能落到填充值上。因此,同一层不同空间位置实际接触到的真实图像像素数量可能不同。
用感受野检查网络结构
感受野并不是越大越好。分类网络的深层特征通常需要覆盖目标的大部分甚至整幅图像,才能组合纹理、轮廓和部件关系;而检测、分割等任务还要保留足够精细的空间定位。
检查网络时,可以从输入层开始逐层记录 和 。如果网络很深但感受野仍明显小于目标典型尺寸,说明深层单元可能缺乏全局结构信息;如果很早就通过大步幅快速扩大覆盖范围,则还要检查细节是否已经在下采样过程中丢失。感受野计算因此不仅是数学练习,也是评估 CNN 尺度设计是否合理的直接工具。