机器学习与深度学习 / 系统课时
卷积与序列网络概览
卷积与序列网络概览
图像中的像素有空间邻接关系,文本和时间序列中的记录有顺序。卷积和序列模型用不同方式组织这些依赖。同一类任务也可以组合多种结构,例如先提取各帧的局部特征,再在时间轴上建模。
学习目标
- 说明局部窗口、权重共享以及卷积输出形状。
- 用状态递推理解序列顺序,并区分循环与注意力的上下文机制。
- 根据输入结构和是否允许查看未来信息选择计算方式。
卷积使用局部窗口和共享权重
二维卷积层把同一组核权重应用到多个位置。局部窗口减少单层需要看的范围,权重共享让每个位置复用同一组参数。多层堆叠时,高层可间接看到更大的输入区域。常用深度学习框架仍把这一层称为卷积,但如 PyTorch 的 Conv2d 计算的是不翻核的互相关。数学卷积在相同滑窗约定下会将核沿两轴翻转。 PyTorch Conv2d 定义
对本课无填充、步幅为 1、膨胀率为 1 的单通道例子,若输入为 、核为 ,输出为 。真实层通常有批次轴和通道轴,PyTorch 的图像批量约定是 (N,C,H,W)。更改步幅、填充或膨胀后,应重新按接口公式计算形状。 PyTorch Conv2d 形状说明
循环与注意力怎样传递上下文
单向循环网络把上一步隐藏状态和当前输入组合成新状态。因此调换输入顺序,后续状态也可能变化。LSTM 与 GRU 通过门控控制信息保留与更新,有助于学习较长依赖。Transformer 的自注意力允许一个位置按规则读取其他位置,顺序通常由位置编码等机制提供。生成或预测未来时,需要用因果掩码等机制阻止读取未来位置。训练可并行处理多个已知输入位置,自回归生成仍逐步依赖已经生成的内容。 PyTorch RNN 说明 Transformer 原论文

用 NumPy 和 PyTorch 对照小计算
这里的核不对称,可以观察翻核与否造成的符号差。序列部分是一个固定系数的标量递推,演示顺序效应。它不含门控和训练参数。用已安装 NumPy 和 PyTorch 的 Python 运行。
import numpy as np
import torch
from numpy.lib.stride_tricks import sliding_window_view
from torch.nn.functional import conv2d
image = np.arange(1, 10, dtype=float).reshape(3, 3)
kernel = np.array([[1.0, 0.0], [0.0, -1.0]])
windows = sliding_window_view(image, kernel.shape)
correlation = (windows * kernel).sum(axis=(-2, -1))
convolution = (windows * np.flip(kernel)).sum(axis=(-2, -1))
torch_output = conv2d(torch.from_numpy(image)[None, None],
torch.from_numpy(kernel)[None, None])
np.testing.assert_allclose(torch_output[0, 0].numpy(), correlation)
def recurrent_states(sequence):
hidden = 0.0
states = []
for value in sequence:
hidden = 0.5 * hidden + value
states.append(hidden)
return states
print("cross-correlation:", correlation.tolist())
print("mathematical convolution:", convolution.tolist())
print("PyTorch output shape:", tuple(torch_output.shape))
print("states:", recurrent_states([1, 2, 3]))
print("reversed:", recurrent_states([3, 2, 1]))cross-correlation: [[-4.0, -4.0], [-4.0, -4.0]]
mathematical convolution: [[4.0, 4.0], [4.0, 4.0]]
PyTorch output shape: (1, 1, 2, 2)
states: [1.0, 2.5, 4.25]
reversed: [3.0, 3.5, 2.75]根据任务选择结构
检查哪些邻域需要共享参数、序列能否并行处理,以及预测时哪些输入位置已知。时间序列也可以用一维卷积,离线图像也可以用注意力。面向实时预测时,还要检查切分、特征窗口和模型访问的上下文是否都满足时间边界。
本课练习
在 PyTorch 代码里增加一圈零填充,重新计算输出形状。再构造两条前两步相同、最后一步不同的序列,验证递推状态在前两步完全相同,解释为什么未来输入不能影响已有状态。