计算机视觉 / 系统课时

特征融合 Neck

特征融合 Neck

Neck 位于 Backbone 与检测头之间,负责把不同分辨率的特征重新组织。读完本课,你将能解释上采样、下采样和跨层连接各自解决什么问题,并判断两路特征能否正确融合。

学习目标

  • 说明 Neck 为什么需要双向传递多尺度信息
  • 理解上采样、拼接和下采样的作用
  • 根据特征形状检查融合连接是否有效

单一尺度为什么不够

Backbone 的高分辨率特征包含位置与边缘细节,但类别语义较弱;低分辨率特征语义更强,却难以精确定位小目标。Neck 的任务是让不同层级互相补充,而不是简单选取其中一层。

典型结构先走自顶向下路径:把深层特征上采样,与同尺寸的浅层特征融合;随后再走自底向上路径:把融合后的高分辨率特征下采样,继续向低分辨率层传递定位信息。

Neck双向特征融合流程

自顶向下融合语义

假设深层特征为 20×2020\times20,先进行 2 倍上采样得到 40×4040\times40,才能与 Backbone 的 40×4040\times40 特征连接。继续上采样到 80×8080\times80 后,又能与更浅层特征融合。

上采样主要改变空间尺寸,不会自动补回已丢失的真实细节。真正的细节来自跨层连接,深层分支提供“是什么”,浅层分支提供“在哪里”。两者结合后,高分辨率特征也获得了较强语义。

常见融合方式是通道维拼接或逐元素相加。拼接会把通道数相加,保留两路信息,之后通常再用卷积压缩和混合;相加要求两路特征的宽、高、通道都一致,计算更轻但约束更严格。

自底向上补充定位信息

完成自顶向下融合后,Neck 还会把高分辨率融合特征再次下采样,与中、低分辨率分支结合。这样,大目标使用的低分辨率特征也能接收到更丰富的位置线索。

这种双向路径常被概括为 FPN 加 PAN 的思路:FPN 强调把高层语义向高分辨率传播,PAN 强调把底层定位信息向低分辨率回传。不同 YOLO 版本会调整模块名称和连接数量,但信息流方向基本一致。

用形状检查融合连接

特征融合最常见的错误不是公式,而是形状不匹配。下面的程序模拟三尺度 Neck,并检查每次拼接前的宽高是否一致。通道维拼接后,输出通道数等于两路通道数之和。

python
def upsample(shape):
    height, width, channels = shape
    return height * 2, width * 2, channels

def downsample(shape, out_channels):
    height, width, _ = shape
    return height // 2, width // 2, out_channels

def concat(left, right):
    # 通道拼接要求两路特征的空间尺寸完全一致
    if left[:2] != right[:2]:
        raise ValueError(f"spatial mismatch: {left[:2]} vs {right[:2]}")
    return left[0], left[1], left[2] + right[2]

def main():
    p3 = (80, 80, 256)
    p4 = (40, 40, 512)
    p5 = (20, 20, 1024)

    n4 = concat(upsample(p5), p4)
    n3 = concat(upsample(n4), p3)
    out4 = concat(downsample(n3, 512), n4)
    out5 = concat(downsample(out4, 1024), p5)

    print("top-down P4:", n4)
    print("top-down P3:", n3)
    print("bottom-up P4:", out4)
    print("bottom-up P5:", out5)

if __name__ == "__main__":
    main()

预期输出:

text
top-down P4: (40, 40, 1536)
top-down P3: (80, 80, 1792)
bottom-up P4: (40, 40, 2048)
bottom-up P5: (20, 20, 2048)

真实 Neck 会在拼接前后使用卷积调整通道,因此通道数不一定与示例相同。验证重点是:融合前宽高一致、下采样后的目标尺度正确、最终仍保留多个输出层。

常见理解误区

上采样不是放大原图,也不会生成真实的新纹理;它只是把特征重新映射到更大的空间网格。跨层连接也不是把任意两层直接相连,只有空间尺寸经过对齐后才能融合。

Neck 不是独立完成检测的模块。它输出增强后的多尺度特征,随后由检测头分别预测类别、置信度和边界框。判断一个连接是否合理时,应沿着“尺寸对齐、通道处理、信息来源”三个问题逐项检查。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

特征融合 Neck

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通