机器学习与深度学习 / 系统课时

计算卷积层参数量与计算量

计算卷积层参数量与计算量

设计卷积层时,通道数和卷积核大小不仅决定能提取什么特征,也直接决定模型有多大、一次前向传播要做多少计算。本篇给出统一公式,并用同一组输入比较标准卷积、1×1 卷积与分组卷积的成本。

学习目标

  • 根据输入通道、输出通道、卷积核和分组数计算参数量
  • 根据输出特征图尺寸计算卷积层的 MACs,并区分 MACs 与 FLOPs
  • 用量化结果比较不同卷积结构的成本,而不是只凭“核更小”做判断

参数量只看权重形状

设输入通道数为 CinC_{in},输出通道数为 CoutC_{out},卷积核为 Kh×KwK_h\times K_w,分组数为 GG。每个输出通道只连接 Cin/GC_{in}/G 个输入通道,因此权重参数量为:

KhKw×CinG×CoutK_h K_w \times \frac{C_{in}}{G} \times C_{out}

若卷积层包含 bias,还要再加 CoutC_{out} 个参数,所以总参数量是:

Params=KhKw×CinG×Cout+Cout\text{Params}=K_h K_w \times \frac{C_{in}}{G} \times C_{out}+C_{out}

参数量与输入图片的高、宽无关,也与 batch size 无关。输入从 224×224 改成 448×448,不会增加卷积核本身的参数,但会明显增加计算量。

计算量还要乘输出位置数

对每一个输出空间位置、每一个输出通道,都要完成一次卷积核与对应输入区域的点积。若输出特征图大小为 Hout×WoutH_{out}\times W_{out},主要乘加运算量可写为:

MACs=HoutWoutCoutKhKwCinG\text{MACs}=H_{out}W_{out}C_{out}K_hK_w\frac{C_{in}}{G}

其中一次 MAC 表示一次乘法并累加。很多资料把一次乘法和一次加法分别算作一个浮点运算,此时可近似认为:

FLOPs≈2×MACs\text{FLOPs}\approx 2\times\text{MACs}

不同论文和工具对 FLOPs 的口径并不完全一致,因此比较模型时应先确认统计工具把一次 MAC 计为 1 还是 2 个操作。bias、激活和归一化通常不计入卷积主体 MACs。

用同一输入完成一次计算

假设输入特征图为 56×56×64,使用 3×3、stride=1、padding=1 的标准卷积得到 56×56×128 输出,并启用 bias。

参数量为:

3×3×64×128+128=73,8563\times3\times64\times128+128=73{,}856

MACs 为:

56×56×128×3×3×64=231,211,00856\times56\times128\times3\times3\times64=231{,}211{,}008

也就是约 2.31 亿次 MAC。如果采用“1 MAC = 2 FLOPs”的口径,则约为 4.62 亿 FLOPs。这里可以看到,同一组卷积核会在 56×56 个空间位置上重复使用,所以计算量远大于参数量。

比较不同卷积结构

继续保持输入 56×56×64、输出通道 128、输出空间尺寸 56×56,仅改变卷积结构:

结构 参数量(含 bias) MACs 相对特点
3×3 标准卷积,G=1G=1 73,856 231,211,008 通道连接最充分,成本最高
1×1 标准卷积,G=1G=1 8,320 25,690,112 主要做通道混合,不扩大局部感受范围
3×3 分组卷积,G=8G=8 9,344 28,901,376 每个输出通道只连接部分输入通道

这说明成本的核心乘数是 KhKwK_hK_w、CinC_{in}、CoutC_{out}、输出面积和分组数。把 3×3 换成 1×1,大约把卷积主体成本降到九分之一;把 GG 从 1 增到 8,则把主体参数和 MACs 约降到八分之一。

估算时别漏掉输出尺寸

如果 stride、padding 或 dilation 改变,必须先算出输出高宽,再代入 MACs 公式。单个空间维度的输出尺寸为:

Lout=⌊Lin+2P−D(K−1)−1S+1⌋L_{out}=\lfloor\frac{L_{in}+2P-D(K-1)-1}{S}+1\rfloor

参数量只由权重结构决定,而计算量还受输出特征图面积影响。因此比较两层时,先算权重形状,再算输出尺寸,最后统一到 Params 与 MACs 两个指标,才能得到可复核的成本结论。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算卷积层参数量与计算量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通