机器学习与深度学习 / 系统课时
计算卷积层参数量与计算量
计算卷积层参数量与计算量
设计卷积层时,通道数和卷积核大小不仅决定能提取什么特征,也直接决定模型有多大、一次前向传播要做多少计算。本篇给出统一公式,并用同一组输入比较标准卷积、1×1 卷积与分组卷积的成本。
学习目标
- 根据输入通道、输出通道、卷积核和分组数计算参数量
- 根据输出特征图尺寸计算卷积层的 MACs,并区分 MACs 与 FLOPs
- 用量化结果比较不同卷积结构的成本,而不是只凭“核更小”做判断
参数量只看权重形状
设输入通道数为 ,输出通道数为 ,卷积核为 ,分组数为 。每个输出通道只连接 个输入通道,因此权重参数量为:
若卷积层包含 bias,还要再加 个参数,所以总参数量是:
参数量与输入图片的高、宽无关,也与 batch size 无关。输入从 224×224 改成 448×448,不会增加卷积核本身的参数,但会明显增加计算量。
计算量还要乘输出位置数
对每一个输出空间位置、每一个输出通道,都要完成一次卷积核与对应输入区域的点积。若输出特征图大小为 ,主要乘加运算量可写为:
其中一次 MAC 表示一次乘法并累加。很多资料把一次乘法和一次加法分别算作一个浮点运算,此时可近似认为:
不同论文和工具对 FLOPs 的口径并不完全一致,因此比较模型时应先确认统计工具把一次 MAC 计为 1 还是 2 个操作。bias、激活和归一化通常不计入卷积主体 MACs。
用同一输入完成一次计算
假设输入特征图为 56×56×64,使用 3×3、stride=1、padding=1 的标准卷积得到 56×56×128 输出,并启用 bias。
参数量为:
MACs 为:
也就是约 2.31 亿次 MAC。如果采用“1 MAC = 2 FLOPs”的口径,则约为 4.62 亿 FLOPs。这里可以看到,同一组卷积核会在 56×56 个空间位置上重复使用,所以计算量远大于参数量。
比较不同卷积结构
继续保持输入 56×56×64、输出通道 128、输出空间尺寸 56×56,仅改变卷积结构:
| 结构 | 参数量(含 bias) | MACs | 相对特点 |
|---|---|---|---|
| 3×3 标准卷积, | 73,856 | 231,211,008 | 通道连接最充分,成本最高 |
| 1×1 标准卷积, | 8,320 | 25,690,112 | 主要做通道混合,不扩大局部感受范围 |
| 3×3 分组卷积, | 9,344 | 28,901,376 | 每个输出通道只连接部分输入通道 |
这说明成本的核心乘数是 、、、输出面积和分组数。把 3×3 换成 1×1,大约把卷积主体成本降到九分之一;把 从 1 增到 8,则把主体参数和 MACs 约降到八分之一。
估算时别漏掉输出尺寸
如果 stride、padding 或 dilation 改变,必须先算出输出高宽,再代入 MACs 公式。单个空间维度的输出尺寸为:
参数量只由权重结构决定,而计算量还受输出特征图面积影响。因此比较两层时,先算权重形状,再算输出尺寸,最后统一到 Params 与 MACs 两个指标,才能得到可复核的成本结论。