机器学习与深度学习 / 系统课时
多层神经网络
多层神经网络
多层神经网络通过隐藏层连续变换输入,使模型能够表达单个感知机无法描述的非线性关系。本课将拆解输入层、隐藏层和输出层的职责,并完成一次可运行的前向传播计算。
学习目标
- 说明前馈网络各层的作用
- 理解矩阵乘法如何完成一层神经元计算
- 运行一个两层网络并核对中间结果
网络的层级结构
在本课的全连接网络中,输入节点表示特征。若网络需要学习类别或词语的嵌入,嵌入是额外的可训练层。隐藏层产生中间表示,输出层可生成分类分数或连续数值,是否还需要概率映射由任务决定。

对于一层网络,可以把多个神经元的计算合并为矩阵形式:
其中, 保存连接权重, 是每个神经元的偏置, 是激活函数。层数增加后,上一层输出会成为下一层输入。
完成一次前向传播
下面使用 NumPy 构造一个包含两个输入、三个隐藏神经元和一个输出神经元的网络。参数为演示而固定,不包含训练过程。
import numpy as np
x = np.array([0.6, 0.2])
w1 = np.array([
[0.5, -0.4],
[0.3, 0.8],
[-0.2, 0.6]
])
b1 = np.array([0.1, -0.1, 0.05])
# 隐藏层使用 ReLU,引入非线性变换
hidden = np.maximum(0, w1 @ x + b1)
w2 = np.array([0.7, -0.5, 0.4])
b2 = -0.2
# 输出层使用 Sigmoid,得到 0 到 1 之间的结果
logit = w2 @ hidden + b2
prediction = 1 / (1 + np.exp(-logit))
print("hidden =", np.round(hidden, 3))
print("prediction =", round(float(prediction), 3))预期输出
hidden = [0.32 0.24 0.05]
prediction = 0.481隐藏层输出不再等同于原始输入,而是模型根据当前参数生成的新表示。输出 logit 约为 -0.076,Sigmoid 结果约为 0.481。它演示输出形状和数值范围。实际二分类应用需要训练和验证概率质量,并用验证数据定阈值。
非线性与形状边界
若各层只做仿射变换,叠加后仍是一个仿射变换,例如 。即使最后接 Sigmoid,只要中间没有非线性,固定分类阈值对应的决策边界仍是线性的。ReLU、Sigmoid 等激活函数让网络能够组合出弯曲、分段或更复杂的决策边界。
矩阵维度必须首尾匹配。示例中输入形状为 (2,),第一层权重形状为 (3, 2),所以隐藏层得到 (3,);第二层权重形状为 (3,),最终得到一个标量。批量数据常按行排列。这里权重用“输出特征数 × 输入特征数”保存,因此左侧是批量矩阵时要写 X @ w1.T。偏置形状为 (3,),沿样本轴广播。沿用上例变量,接着运行以下代码。
# 批量输入,每一行是一条记录,每一列是一个特征。
X = np.array([[0.6, 0.2], [-0.6, 0.2]])
hidden_batch = np.maximum(0, X @ w1.T + b1)
logits = hidden_batch @ w2 + b2
probabilities = 1 / (1 + np.exp(-logits))
print("batch hidden =", np.round(hidden_batch, 3))
print("batch predictions =", np.round(probabilities, 3))
np.testing.assert_allclose(hidden_batch[0], hidden)
np.testing.assert_allclose(probabilities[0], prediction)第二条记录的隐藏表示为 [0, 0, 0.29],概率约为 0.479。把单样本和批量的第一条记录做断言,可以在重构时及时发现轴或广播错误。下一课继续分析激活函数的取舍。