机器学习与深度学习 / 系统课时

张量变形与拼接

张量变形与拼接

模型通常要求输入具有固定的批次、通道或特征维度。本课将用一组可运行示例掌握重塑、换轴、压缩、扩展、拼接与堆叠,并能根据目标形状选择正确操作。

学习目标

  • 根据元素数量判断张量能否重塑
  • 区分 reshape、permute、squeeze 和 unsqueeze
  • 正确选择 torch.cat 或 torch.stack 组织模型输入

先读懂形状变化

张量变形只改变数据的组织方式,不应凭空增加或丢失元素。假设原张量形状为 (2, 3, 4),元素总数是 24;它可以重塑为 (2, 12) 或 (6, 4),但不能重塑为 (5, 5)。

张量常用变形操作示意图

reshape 重新解释各维度的长度;permute 按给定顺序重排所有轴;transpose 只交换两个轴。三者都不会改变元素值,但 permute 后的张量常常不是连续内存布局。

压缩与扩展长度为 1 的维度

unsqueeze(dim) 在指定位置插入一个长度为 1 的维度,常用于补批次维或通道维。squeeze(dim) 只删除指定位置且长度为 1 的维度;不传 dim 会删除所有长度为 1 的维度,可能误删批次维,因此工程中更推荐明确指定维度。

例如,单张灰度图形状为 (28, 28),执行 unsqueeze(0).unsqueeze(0) 后得到 (1, 1, 28, 28),可分别表示批次维和通道维。

区分拼接与堆叠

torch.cat 沿已有维度连接张量,除拼接维外,其余维度必须一致。torch.stack 会先创建一个新维度,再把形状完全相同的张量放入该维度。

操作 是否新增维度 输入要求 典型用途
torch.cat 否 除目标维外其余形状一致 合并批次、序列或特征
torch.stack 是 所有输入形状完全一致 组成新的批次或时间维

选择时先问一个问题:结果需要增加一条新轴吗?需要就用 stack,只想延长现有轴就用 cat。

完整示例与验证

下面的程序集中演示常用操作,并用形状验证每一步是否符合预期。

python
import torch

x = torch.arange(24).reshape(2, 3, 4)

reshaped = x.reshape(2, 12)
permuted = x.permute(0, 2, 1)

# 在第 1 维插入长度为 1 的轴,再明确删除该轴
expanded = x.unsqueeze(1)
restored = expanded.squeeze(1)

a = torch.tensor([[1, 2], [3, 4]])
b = torch.tensor([[5, 6], [7, 8]])

# cat 延长现有第 0 维,stack 创建新的第 0 维
joined = torch.cat([a, b], dim=0)
stacked = torch.stack([a, b], dim=0)

print("x:", tuple(x.shape))
print("reshaped:", tuple(reshaped.shape))
print("permuted:", tuple(permuted.shape))
print("expanded:", tuple(expanded.shape))
print("restored:", tuple(restored.shape))
print("joined:", tuple(joined.shape), joined.tolist())
print("stacked:", tuple(stacked.shape))

预期输出

text
x: (2, 3, 4)
reshaped: (2, 12)
permuted: (2, 4, 3)
expanded: (2, 1, 3, 4)
restored: (2, 3, 4)
joined: (4, 2) [[1, 2], [3, 4], [5, 6], [7, 8]]
stacked: (2, 2, 2)

关键边界与常见错误

reshape 要求重塑前后元素总数一致,其中一个维度可以写成 -1 让 PyTorch 自动推断。一个形状中最多只能出现一个 -1。

view 更依赖连续内存。张量经过 permute 后直接调用 view 可能报错,此时优先使用 reshape,或先调用 contiguous() 再使用 view。

拼接失败时,应逐轴比较输入形状。对于 cat,只允许目标维不同;对于 stack,任何维度不同都会失败。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

张量变形与拼接

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通