机器学习与深度学习 / 系统课时

理解卷积核为什么共享参数

理解卷积核为什么共享参数

卷积层能用远少于全连接层的参数处理图像,关键不只是“只看局部”,还在于同一组卷积核参数会在整张特征图上反复使用。本节从连接方式入手,看清参数究竟共享在哪里、为什么这样能检测重复模式,以及它带来的模型规模变化。

学习目标

  • 区分全连接、局部连接与卷积层在空间位置上的参数使用方式
  • 计算参数共享前后的权重数量,理解模型规模为何显著下降
  • 解释参数共享为什么适合检测出现在不同位置的相同局部模式

从局部连接看出真正的差别

全连接层让一个输出单元读取全部输入像素,因此输入尺寸一大,权重数量会快速增长。卷积首先利用图像的局部性:一个输出位置只读取附近的一小块区域,例如 3×33×3 邻域,而不是整张图。

但局部连接本身还不是卷积最关键的特点。假设每个空间位置都有自己独立的一组 3×33×3 权重,那么左上角检测竖直边缘的参数,到了图像中间就不能直接复用。这种层通常称为局部连接层。

卷积进一步规定:同一个输出通道在所有空间位置使用同一组核参数。卷积核从左到右、从上到下移动时,改变的是它覆盖的输入区域,而不是卷积核里的权重。

全连接、局部连接与卷积参数共享方式对比

参数共享的本质

以一个检测竖直边缘的卷积核为例,只要某个局部区域具有类似的亮暗变化,这组权重就会产生较强响应。边缘出现在左侧、中央还是右侧,并不需要分别训练三套检测器,因为“竖直边缘长什么样”通常不会因绝对位置而改变。

因此,一个卷积核可以理解为一个可学习的局部模式检测器。它在不同空间位置执行同一种计算,形成一张输出特征图。若卷积层有多个输出通道,就会学习多组不同卷积核,分别响应不同模式。

这里的“共享”只发生在空间位置之间。不同输出通道仍然拥有各自独立的卷积核,因此模型可以同时学习边缘、纹理、角点以及更复杂的局部结构。

参数量为什么会大幅下降

考虑一张 32×3232×32 的单通道特征图,希望产生 16 个输出通道,并让每个输出位置读取 3×33×3 邻域。先只比较卷积核权重,不考虑边界尺寸变化。

如果每个空间位置使用独立参数,那么共有 32×3232×32 个位置,每个位置需要 3×3×163×3×16 个权重,因此权重数为:

(32×32×3×3×16=147456)

如果采用卷积参数共享,16 个输出通道各自只需要一组 3×33×3 核:

(3×3×16=144)

两者相差 10241024 倍,恰好等于空间位置数量。若再加偏置,标准卷积通常每个输出通道只增加一个偏置,因此本例总参数量为 144+16=160144+16=160。

参数更少并不只是节省存储。需要学习的自由度下降后,模型可以用有限训练样本把某个位置学到的模式直接应用到其他位置,而不必在每个坐标重新学习一次。

共享参数不等于完全忽略位置

参数共享让相同卷积核能够检测不同位置的相似模式,但它并不意味着 CNN 天然对平移完全不敏感。步幅、填充、池化和图像边界都可能让输入移动后产生不同的数值结果。

更准确地说,普通卷积首先提供一种局部的平移等变特性:输入中的模式移动时,对应的特征响应也倾向于跟着移动。经过池化、下采样和后续网络组合后,分类模型才可能获得更强的位置不敏感性。

理解卷积层时,可以把“局部感受野”和“参数共享”分开记:前者决定一个输出位置看多大范围,后者决定这些局部位置是否复用同一套检测规则。两者结合,才形成 CNN 高效提取重复局部特征的基础。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解卷积核为什么共享参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通