计算机视觉 / 系统课时

下采样与感受野

下采样与感受野

检测网络需要同时看清局部细节和整体结构。下采样能降低计算量并扩大感受野,但也会丢失空间信息。本课将解释二者的关系,并分析分辨率下降为何容易损伤小目标特征。

学习目标

  • 说明步长卷积和池化如何完成下采样
  • 理解感受野随网络加深而扩大的原因
  • 分析下采样对小目标检测的影响与常见补救思路

下采样解决什么问题

输入图片分辨率较高时,直接在原尺寸上堆叠大量卷积会产生很高的计算和显存开销。下采样通过减小特征图的宽和高,让后续层在更低成本下提取更抽象的语义。

常见方式包括步长大于 1 的卷积和池化。以步长为 2 的操作为例,特征图宽高通常各缩小一半,像素位置数量约变为原来的四分之一。YOLO 类网络通常更常见步长卷积,因为它能在降采样的同时学习特征变换。

感受野为什么会扩大

某个特征点在原图上能够“看到”的区域称为感受野。浅层特征点只覆盖邻近像素,适合描述边缘和纹理;随着卷积层叠加并穿过下采样层,后续一个特征点会对应原图中更大的区域。

下采样扩大感受野示意图

若第 ll 层卷积核大小为 klk_l、步长为 sls_l,可用下面的递推关系理解感受野:

rl=rl−1+(kl−1)jl−1r_l=r_{l-1}+(k_l-1)j_{l-1}。

jl=jl−1slj_l=j_{l-1}s_l

其中 rlr_l 表示当前层感受野大小,jlj_l 表示当前层相邻特征点映射回原图时的间隔。下采样会增大 jlj_l,因此后续卷积核覆盖到原图上的范围增长更快。

分辨率下降为何伤害小目标

下采样不会只压缩背景,也会同步压缩目标。假设一个目标在输入图中宽度只有 8 像素,连续三次 2 倍下采样后,理论上只剩约 1 个特征点宽。此时目标的边界、纹理和位置差异很容易与背景混合。

累计步长 特征图相对尺寸 8 像素目标的理论宽度
2 原图的 1/21/2 4 个特征点
4 原图的 1/41/4 2 个特征点
8 原图的 1/81/8 1 个特征点

这也是小目标检测更依赖高分辨率特征层的原因。深层特征语义更强,但位置更粗;浅层特征位置更精确,却缺少足够的类别语义。检测头需要在两者之间取得平衡。

YOLO 如何兼顾语义与细节

YOLO 类模型通常会保留多个尺度的特征,并通过特征金字塔或路径聚合结构进行融合。高分辨率层提供边缘与位置,低分辨率层提供更大的感受野和更强的语义,再由不同尺度的检测头负责不同大小的目标。

多尺度特征融合与目标尺寸对应关系

这种设计并不意味着分辨率越高越好。高分辨率特征会显著增加计算量,也可能保留更多噪声。实际设计需要同时考虑输入尺寸、下采样次数、检测头尺度、目标尺寸分布和部署算力。

设计与排查要点

当模型漏检小目标时,应先检查目标在各级特征图上的实际尺寸,而不是只调整置信度阈值。若大量目标经过主干网络后不足一个或两个特征点,问题通常来自信息分辨率,而不是分类分数。

还应核对训练时的输入缩放、随机裁剪和标注质量。过强的数据增强可能让小目标进一步缩小或被裁掉;输入尺寸过低也会让原本可辨认的目标在进入网络前就丢失关键细节。

Tips:扩大输入尺寸能够保留更多小目标信息,但会增加显存、计算量和推理延迟,需要结合部署环境评估。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

下采样与感受野

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通