机器学习与深度学习 / 系统课时

神经网络的基本结构

神经网络的基本结构

神经网络把输入经过若干层计算转换为输出。理解层、权重、偏置和激活函数之间的关系后,你就能读懂最小 PyTorch 模型,并知道一次前向传播实际做了什么。

学习目标

  • 说明输入层、隐藏层和输出层各自承担的职责
  • 理解权重、偏置与激活函数在单层计算中的作用
  • 使用 PyTorch 构建并验证一个可运行的前馈神经网络

三类层如何协作

输入层接收样本特征,本身通常不负责可训练变换;隐藏层逐级组合特征,形成更适合当前任务的表示;输出层把最终表示转换为类别分数、概率或连续数值。

一个网络可以没有隐藏层,但那通常只能表达线性关系。加入隐藏层和非线性激活函数后,网络才能组合出更复杂的决策边界。

前馈神经网络基本结构

单层计算的本质

一层神经网络先对输入做加权求和并加上偏置,再通过激活函数得到输出。可以写成:

z = Wx + b $$。

a = f(z) $$

其中,xx 是输入,WW 是权重矩阵,bb 是偏置,ff 是激活函数。训练过程会不断调整 WW 和 bb;激活函数负责引入非线性,否则多层线性变换仍然等价于一层线性变换。

用 PyTorch 完成一次前向传播

下面的示例使用两个输入、两个隐藏节点和一个输出节点。为了让结果稳定可核对,代码手动设置权重与偏置,而不是使用随机初始化。运行前需已安装 PyTorch。

python
import torch
from torch import nn

class TinyNetwork(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.hidden = nn.Linear(2, 2)
        self.output = nn.Linear(2, 1)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # 隐藏层使用 ReLU,引入非线性表达能力
        hidden_value = torch.relu(self.hidden(x))
        return torch.sigmoid(self.output(hidden_value))

model = TinyNetwork()

with torch.no_grad():
    # 固定参数,便于复现并核对每一层的计算结果
    model.hidden.weight.copy_(torch.tensor([[0.5, -0.5], [1.0, 0.25]]))
    model.hidden.bias.copy_(torch.tensor([0.1, -0.2]))
    model.output.weight.copy_(torch.tensor([[0.8, -0.4]]))
    model.output.bias.copy_(torch.tensor([0.3]))

sample = torch.tensor([[1.0, 2.0]])
hidden = torch.relu(model.hidden(sample))
prediction = model(sample)

print("hidden:", [round(value, 4) for value in hidden[0].tolist()])
print("output:", [round(value, 4) for value in prediction[0].tolist()])

预期输出:

text
hidden: [0.0, 1.3]
output: [0.4452]

第一个隐藏节点的加权结果为负数,因此经过 ReLU 后变为 0;第二个隐藏节点保留 1.3。输出层再对隐藏表示做线性变换,并通过 Sigmoid 将结果压缩到 0 和 1 之间。

结构中的关键边界

层数多不等于效果一定更好。隐藏层过少可能无法表达复杂关系,过多则会增加训练难度、推理延迟和过拟合风险。实际设计应从满足任务的最小结构开始,再根据验证集表现调整。

输出层的节点数和激活函数取决于任务。二分类常使用一个输出节点配合 Sigmoid;多分类通常使用多个输出节点,并在训练时结合适合的损失函数;回归任务常直接输出连续值。

常见错误:把激活函数当作可有可无的装饰。若隐藏层之间没有非线性激活,多层网络会退化为一次线性变换,无法获得预期的表达能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

神经网络的基本结构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通