机器学习与深度学习 / 系统课时

多层神经网络

多层神经网络

多层神经网络通过隐藏层连续变换输入,使模型能够表达单个感知机无法描述的非线性关系。本课将拆解输入层、隐藏层和输出层的职责,并完成一次可运行的前向传播计算。

学习目标

  • 说明前馈网络各层的作用
  • 理解矩阵乘法如何完成一层神经元计算
  • 运行一个两层网络并核对中间结果

网络的层级结构

在本课的全连接网络中,输入节点表示特征。若网络需要学习类别或词语的嵌入,嵌入是额外的可训练层。隐藏层产生中间表示,输出层可生成分类分数或连续数值,是否还需要概率映射由任务决定。

多层前馈神经网络结构

对于一层网络,可以把多个神经元的计算合并为矩阵形式:

h=f(Wx+b)\boldsymbol{h}=f(W\boldsymbol{x}+\boldsymbol{b})

其中,WW 保存连接权重,b\boldsymbol{b} 是每个神经元的偏置,ff 是激活函数。层数增加后,上一层输出会成为下一层输入。

完成一次前向传播

下面使用 NumPy 构造一个包含两个输入、三个隐藏神经元和一个输出神经元的网络。参数为演示而固定,不包含训练过程。

python
import numpy as np

x = np.array([0.6, 0.2])

w1 = np.array([
    [0.5, -0.4],
    [0.3, 0.8],
    [-0.2, 0.6]
])
b1 = np.array([0.1, -0.1, 0.05])

# 隐藏层使用 ReLU,引入非线性变换
hidden = np.maximum(0, w1 @ x + b1)

w2 = np.array([0.7, -0.5, 0.4])
b2 = -0.2

# 输出层使用 Sigmoid,得到 0 到 1 之间的结果
logit = w2 @ hidden + b2
prediction = 1 / (1 + np.exp(-logit))

print("hidden =", np.round(hidden, 3))
print("prediction =", round(float(prediction), 3))

预期输出

text
hidden = [0.32 0.24 0.05]
prediction = 0.481

隐藏层输出不再等同于原始输入,而是模型根据当前参数生成的新表示。输出 logit 约为 -0.076,Sigmoid 结果约为 0.481。它演示输出形状和数值范围。实际二分类应用需要训练和验证概率质量,并用验证数据定阈值。

非线性与形状边界

若各层只做仿射变换,叠加后仍是一个仿射变换,例如 W2(W1x+b1)+b2=(W2W1)x+W2b1+b2W_2(W_1x+b_1)+b_2=(W_2W_1)x+W_2b_1+b_2。即使最后接 Sigmoid,只要中间没有非线性,固定分类阈值对应的决策边界仍是线性的。ReLU、Sigmoid 等激活函数让网络能够组合出弯曲、分段或更复杂的决策边界。

矩阵维度必须首尾匹配。示例中输入形状为 (2,),第一层权重形状为 (3, 2),所以隐藏层得到 (3,);第二层权重形状为 (3,),最终得到一个标量。批量数据常按行排列。这里权重用“输出特征数 × 输入特征数”保存,因此左侧是批量矩阵时要写 X @ w1.T。偏置形状为 (3,),沿样本轴广播。沿用上例变量,接着运行以下代码。

python
# 批量输入,每一行是一条记录,每一列是一个特征。
X = np.array([[0.6, 0.2], [-0.6, 0.2]])
hidden_batch = np.maximum(0, X @ w1.T + b1)
logits = hidden_batch @ w2 + b2
probabilities = 1 / (1 + np.exp(-logits))
print("batch hidden =", np.round(hidden_batch, 3))
print("batch predictions =", np.round(probabilities, 3))
np.testing.assert_allclose(hidden_batch[0], hidden)
np.testing.assert_allclose(probabilities[0], prediction)

第二条记录的隐藏表示为 [0, 0, 0.29],概率约为 0.479。把单样本和批量的第一条记录做断言,可以在重构时及时发现轴或广播错误。下一课继续分析激活函数的取舍。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多层神经网络

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通