机器学习与深度学习 / 系统课时

参数初始化

参数初始化

参数初始化决定了网络开始训练时权重的分布。选择与网络层和激活函数匹配的方法,可以避免信号过快放大或衰减,让损失在训练初期更稳定地下降。

学习目标

  • 理解权重分布为什么会影响前向传播和反向传播
  • 根据常见激活函数选择 Xavier 或 Kaiming 初始化
  • 使用 PyTorch 初始化接口并验证参数状态

初始化为什么会影响训练

神经网络逐层计算时,输入会不断乘以权重。如果权重整体过大,激活值和梯度可能逐层放大;如果权重整体过小,信号又可能快速衰减。初始化的目标不是直接得到最优参数,而是为优化器提供一个数值稳定、各神经元不完全对称的起点。

权重通常需要随机初始化,避免同一层神经元学到完全相同的特征。偏置则经常初始化为零,因为不同神经元的权重已经打破对称性。卷积层和全连接层还应关注 fan_in 与 fan_out,它们分别表示输入连接数和输出连接数。

根据激活函数选择方法

网络位置或激活函数 常用方法 选择原因
Sigmoid、Tanh Xavier 同时考虑输入和输出规模,适合近似对称的激活函数
ReLU、Leaky ReLU Kaiming 针对整流类激活会截断部分信号的特点调整方差
偏置参数 全零初始化 权重随机性已经能够打破神经元对称
输出层 根据输出激活决定 无激活时可用 Xavier;接 ReLU 时仍可考虑 Kaiming

初始化必须与实际前向结构一致。调用 Kaiming 初始化时,nonlinearity 应与激活函数匹配;使用 Leaky ReLU 时还应传入相同的负半轴斜率,否则理论方差与真实计算不一致。

在 PyTorch 中实现并验证

下面构建一个两层 MLP。隐藏层后接 ReLU,因此使用 Kaiming 正态初始化;输出层没有激活函数,使用 Xavier 均匀初始化;两个偏置都设为零。

python
import torch
from torch import nn

class MLP(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(4, 8)
        self.act = nn.ReLU()
        self.fc2 = nn.Linear(8, 2)
        self.reset_parameters()

    def reset_parameters(self):
        # ReLU 隐藏层使用 Kaiming 初始化,尽量保持前向信号方差。
        nn.init.kaiming_normal_(
            self.fc1.weight,
            mode="fan_in",
            nonlinearity="relu",
        )
        nn.init.zeros_(self.fc1.bias)

        # 无激活的输出层使用 Xavier 初始化,兼顾输入与输出规模。
        nn.init.xavier_uniform_(self.fc2.weight)
        nn.init.zeros_(self.fc2.bias)

    def forward(self, x):
        return self.fc2(self.act(self.fc1(x)))

def main():
    torch.manual_seed(42)
    model = MLP()
    x = torch.randn(3, 4)
    y = model(x)

    print("fc1.weight:", tuple(model.fc1.weight.shape))
    print("fc1.bias all zero:", bool(torch.all(model.fc1.bias == 0)))
    print("fc2.weight:", tuple(model.fc2.weight.shape))
    print("fc2.bias all zero:", bool(torch.all(model.fc2.bias == 0)))
    print("output finite:", bool(torch.isfinite(y).all()))

if __name__ == "__main__":
    main()

预期输出:

text
fc1.weight: (8, 4)
fc1.bias all zero: True
fc2.weight: (2, 8)
fc2.bias all zero: True
output finite: True

torch.manual_seed(42) 让本次随机初始化可复现,但不同设备或 PyTorch 版本下不应依赖具体权重数值。实际项目中可以为模型定义 reset_parameters(),统一管理初始化逻辑;加载预训练权重后不要再次调用,否则已学习到的参数会被覆盖。

初始化完成后,可检查参数是否包含 NaN 或无穷值,并观察训练最初若干步的损失。若损失立刻爆炸或长期几乎不变,应同时排查初始化、学习率、输入归一化和网络深度,而不是只反复更换初始化方法。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

参数初始化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通