机器学习与深度学习 / 系统课时

学习所需数学基础

学习所需数学基础

深度学习不要求先成为数学专家,但必须能读懂数据怎样表示、误差怎样计算,以及参数为什么能够被更新。本课集中回顾向量、矩阵、导数、梯度和概率分布,并用一个 PyTorch 示例把这些概念串成完整训练过程。

学习目标

  • 理解向量和矩阵在样本、特征与模型参数中的作用
  • 说明导数、梯度与梯度下降之间的关系
  • 理解概率分布和损失函数为何能够衡量预测质量

向量与矩阵表示数据

标量只有一个数值,例如学习率和单个损失值。向量是一组有顺序的数,常用来表示一条样本的多个特征。若样本包含身高、体重和年龄,可以写成 x∈R3x \in \mathbb{R}^{3}。

矩阵可以同时容纳多条样本或多组参数。一个包含 100 条样本、每条样本有 3 个特征的数据集,可以表示为 X∈R100×3X \in \mathbb{R}^{100 \times 3}。神经网络中的权重也通常按矩阵保存。线性层的核心计算可以写成:

y=Wx+by = Wx + b。其中,xx 是输入向量,WW 是权重矩阵,bb 是偏置向量,yy 是该层输出。矩阵维度必须匹配,否则程序无法完成乘法运算。

深度学习训练所需数学概念关系图

导数与梯度指导参数更新

导数描述一个变量发生微小变化时,函数值怎样变化。例如损失随某个权重增大而上升,则该权重对应的导数为正;若损失下降,则导数为负。

模型通常包含大量参数,因此需要同时计算损失对所有参数的偏导数。这些偏导数组成的向量称为梯度。梯度指出损失上升最快的方向,训练时沿相反方向更新参数:

θt+1=θt−η∇θL\theta_{t+1}=\theta_t-\eta\nabla_{\theta}L

其中,θ\theta 表示模型参数,LL 表示损失,η\eta 是学习率。学习率过大会造成更新震荡,过小则会使训练速度明显变慢。

概率分布与损失函数

分类模型通常输出每个类别的概率。所有类别概率都应位于 0 到 1 之间,并且总和为 1。Softmax 可以把一组任意实数转换成概率分布:

pi=ezi∑j=1Kezjp_i=\frac{e^{z_i}}{\sum_{j=1}^{K}e^{z_j}}

模型输出概率后,还需要损失函数衡量预测与真实答案的差距。分类任务常使用交叉熵损失,回归任务常使用均方误差。损失值不是准确率,而是训练算法用于比较和优化的目标。

用 PyTorch 验证梯度

下面的完整示例定义一个二维输入和权重向量,通过平方误差计算损失,再调用自动求导得到梯度。

python
import torch

x = torch.tensor([1.0, 2.0])
w = torch.tensor([3.0, 4.0], requires_grad=True)
target = torch.tensor(10.0)

# 预测值为权重与输入的点积
prediction = torch.dot(w, x)
loss = (prediction - target) ** 2

# 反向传播会把损失对 w 的梯度写入 w.grad
loss.backward()

print(f"prediction={prediction.item():.1f}")
print(f"loss={loss.item():.1f}")
print(f"gradient={w.grad.tolist()}")

预期输出:

text
prediction=11.0
loss=1.0
gradient=[2.0, 4.0]

预测值比目标值大 1,平方误差为 1。梯度中的两个数分别对应两个权重,表示每个权重对当前损失的影响程度。优化器会根据这些梯度调整权重,而不需要开发者手工推导每一步计算。

易混淆点

导数针对单个变量,梯度针对一组变量;梯度给出参数调整方向,但不直接等于本次调整量,实际步长还要乘以学习率。概率表示模型对结果的相对置信程度,也不能直接视为预测必然正确的保证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

学习所需数学基础

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通