计算机视觉 / 系统课时

主干网络 Backbone

主干网络 Backbone

主干网络负责把输入图像逐层转换为可供检测头使用的特征。读完本课,你将能看懂分辨率为何不断减小、通道数为何通常增加,以及 YOLO 为什么要同时保留多个尺度的输出。

学习目标

  • 说明 Backbone 在 YOLO 中承担的核心职责
  • 理解浅层、中层和深层特征图的差异
  • 根据输入尺寸推导多尺度特征图的形状

Backbone 解决什么问题

原始图像只有像素值,模型不能直接从中得到“这是车辆”或“这里有目标边缘”的结论。Backbone 通过卷积、激活、归一化和下采样,把像素逐步编码成具有判别力的特征。

浅层特征保留边缘、纹理和精确位置,适合描述小目标细节;深层特征感受野更大,能表达部件与类别语义,但空间分辨率更低。检测模型需要的不是最后一层单一结果,而是多个深度的特征图。

Backbone逐层提取多尺度特征

分辨率与通道如何变化

常见阶段会使用步幅为 2 的卷积或等效下采样,使特征图宽高减半。若输入是 640×640640\times640,连续下采样 3、4、5 次后,常见输出尺寸分别是 80×8080\times80、40×4040\times40、20×2020\times20。

分辨率降低会减少计算量并扩大感受野。与此同时,网络通常增加通道数,让每个空间位置能够编码更多类型的模式。可把特征图理解为一组“响应图”:不同通道分别对不同纹理、形状或语义组合产生响应。

下面用一个可运行的形状推导程序模拟五次二倍下采样。它不执行真实卷积,只验证 Backbone 中最重要的尺寸变化规律。

python
def downsample(shape, out_channels):
    height, width, _ = shape
    # 步幅为 2 时,宽高减半;通道数由当前阶段决定
    return height // 2, width // 2, out_channels

def main():
    feature = (640, 640, 3)
    channels = [64, 128, 256, 512, 1024]

    outputs = []
    for stage, channel in enumerate(channels, start=1):
        feature = downsample(feature, channel)
        print(f"stage{stage}: {feature}")
        if stage >= 3:
            outputs.append(feature)

    print("multi-scale outputs:", outputs)

if __name__ == "__main__":
    main()

预期输出:

text
stage1: (320, 320, 64)
stage2: (160, 160, 128)
stage3: (80, 80, 256)
stage4: (40, 40, 512)
stage5: (20, 20, 1024)
multi-scale outputs: [(80, 80, 256), (40, 40, 512), (20, 20, 1024)]

实际模型的通道数会随版本和规模配置变化,但同一输入下,多尺度输出的空间尺寸通常遵循固定步幅关系。

为什么要输出多个尺度

只使用最深层的 20×2020\times20 特征图时,每个网格覆盖的原图区域较大,适合检测大目标,却容易丢失小目标的位置细节。保留 80×8080\times80 和 40×4040\times40 特征图,可以让后续 Neck 把高层语义传回高分辨率特征。

常见输出也可用步幅表示:P3P3 对应步幅 8,P4P4 对应步幅 16,P5P5 对应步幅 32。以 640 像素输入为例,尺寸分别是 640/8=80640/8=80、640/16=40640/16=40、640/32=20640/32=20。

注意:P3、P4、P5 表示特征层级,不等同于固定通道数。阅读模型配置时,应同时检查输入尺寸、累计步幅和通道配置。

阅读 Backbone 配置的顺序

先确认输入尺寸,再沿网络逐层记录每个阶段的步幅和输出通道。遇到残差块或重复模块时,重点看它是否改变宽高;只有步幅变化才会改变特征图分辨率。

最后找出送入 Neck 的分支。若三个分支累计步幅分别为 8、16、32,就能判断它们面向小、中、大不同尺度的目标。模型名称不同,内部模块可能变化,但这套阅读方法保持不变。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

主干网络 Backbone

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通