机器学习与深度学习 / 系统课时
参数初始化
参数初始化
参数初始化决定了网络开始训练时权重的分布。选择与网络层和激活函数匹配的方法,可以避免信号过快放大或衰减,让损失在训练初期更稳定地下降。
学习目标
- 理解权重分布为什么会影响前向传播和反向传播
- 根据常见激活函数选择 Xavier 或 Kaiming 初始化
- 使用 PyTorch 初始化接口并验证参数状态
初始化为什么会影响训练
神经网络逐层计算时,输入会不断乘以权重。如果权重整体过大,激活值和梯度可能逐层放大;如果权重整体过小,信号又可能快速衰减。初始化的目标不是直接得到最优参数,而是为优化器提供一个数值稳定、各神经元不完全对称的起点。
权重通常需要随机初始化,避免同一层神经元学到完全相同的特征。偏置则经常初始化为零,因为不同神经元的权重已经打破对称性。卷积层和全连接层还应关注 fan_in 与 fan_out,它们分别表示输入连接数和输出连接数。
根据激活函数选择方法
| 网络位置或激活函数 | 常用方法 | 选择原因 |
|---|---|---|
| Sigmoid、Tanh | Xavier | 同时考虑输入和输出规模,适合近似对称的激活函数 |
| ReLU、Leaky ReLU | Kaiming | 针对整流类激活会截断部分信号的特点调整方差 |
| 偏置参数 | 全零初始化 | 权重随机性已经能够打破神经元对称 |
| 输出层 | 根据输出激活决定 | 无激活时可用 Xavier;接 ReLU 时仍可考虑 Kaiming |
初始化必须与实际前向结构一致。调用 Kaiming 初始化时,nonlinearity 应与激活函数匹配;使用 Leaky ReLU 时还应传入相同的负半轴斜率,否则理论方差与真实计算不一致。
在 PyTorch 中实现并验证
下面构建一个两层 MLP。隐藏层后接 ReLU,因此使用 Kaiming 正态初始化;输出层没有激活函数,使用 Xavier 均匀初始化;两个偏置都设为零。
python
import torch
from torch import nn
class MLP(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(4, 8)
self.act = nn.ReLU()
self.fc2 = nn.Linear(8, 2)
self.reset_parameters()
def reset_parameters(self):
# ReLU 隐藏层使用 Kaiming 初始化,尽量保持前向信号方差。
nn.init.kaiming_normal_(
self.fc1.weight,
mode="fan_in",
nonlinearity="relu",
)
nn.init.zeros_(self.fc1.bias)
# 无激活的输出层使用 Xavier 初始化,兼顾输入与输出规模。
nn.init.xavier_uniform_(self.fc2.weight)
nn.init.zeros_(self.fc2.bias)
def forward(self, x):
return self.fc2(self.act(self.fc1(x)))
def main():
torch.manual_seed(42)
model = MLP()
x = torch.randn(3, 4)
y = model(x)
print("fc1.weight:", tuple(model.fc1.weight.shape))
print("fc1.bias all zero:", bool(torch.all(model.fc1.bias == 0)))
print("fc2.weight:", tuple(model.fc2.weight.shape))
print("fc2.bias all zero:", bool(torch.all(model.fc2.bias == 0)))
print("output finite:", bool(torch.isfinite(y).all()))
if __name__ == "__main__":
main()预期输出:
text
fc1.weight: (8, 4)
fc1.bias all zero: True
fc2.weight: (2, 8)
fc2.bias all zero: True
output finite: Truetorch.manual_seed(42) 让本次随机初始化可复现,但不同设备或 PyTorch 版本下不应依赖具体权重数值。实际项目中可以为模型定义 reset_parameters(),统一管理初始化逻辑;加载预训练权重后不要再次调用,否则已学习到的参数会被覆盖。
初始化完成后,可检查参数是否包含 NaN 或无穷值,并观察训练最初若干步的损失。若损失立刻爆炸或长期几乎不变,应同时排查初始化、学习率、输入归一化和网络深度,而不是只反复更换初始化方法。
按自己的节奏,确认真正理解。