机器学习与深度学习 / 系统课时

改变张量形状

改变张量形状

改变形状不会改变张量表达的数据含义,但会直接影响后续算子能否接收输入。本课用固定元素数量的示例演示 reshape、squeeze、unsqueeze、transpose、permute 和 expand,并处理非连续内存这一常见边界。

学习目标

  • 使用 reshape 和 view 调整形状并理解元素数量约束。
  • 使用 squeeze、unsqueeze 和 expand 管理单例维度。
  • 使用 transpose、permute 调整轴顺序,并正确处理非连续张量。

重塑时先检查元素数量

形状从 (2, 3, 4) 改为 (6, 4) 是合法的,因为两者都包含 24 个元素。reshape 支持使用一个 -1 自动推断维度,例如 x.reshape(2, -1) 会得到 (2, 12);同一次重塑中只能出现一个 -1。

reshape 可能返回视图,也可能在必要时创建副本,因此不要依赖它与原张量共享存储。view 在形状与步幅兼容时返回视图,但对转置后的非连续张量经常不能直接使用。

压缩和扩展单例维度

squeeze(dim) 只会删除长度为 1 的指定维度;如果该维度长度不是 1,张量形状保持不变。unsqueeze(dim) 则插入一个长度为 1 的新维度。

例如 (3, 4) 的图像批次缺少 batch 维时,可用 x.unsqueeze(0) 得到 (1, 3, 4);模型输出 (1, 10, 1) 若只想去掉最后一维,应写 squeeze(-1),不要无参数 squeeze(),以免意外把 batch 维也删除。

调整轴顺序

transpose(dim0, dim1) 只交换两个维度,适合简单换轴;permute(...) 可一次重新排列所有维度。例如 NCHW 数据 (8, 3, 224, 224) 转为 NHWC 时可写 x.permute(0, 2, 3, 1),结果形状为 (8, 224, 224, 3)。

下面的示例集中验证常用形状操作:

python
import torch

x = torch.arange(24).reshape(2, 3, 4)

print('x:', tuple(x.shape))
print('reshape:', tuple(x.reshape(6, 4).shape))
print('unsqueeze:', tuple(x.unsqueeze(1).shape))
print('squeeze:', tuple(x.unsqueeze(1).squeeze(1).shape))

t = x.transpose(1, 2)
print('transpose:', tuple(t.shape))
print('transpose contiguous:', t.is_contiguous())
print('permute:', tuple(x.permute(2, 0, 1).shape))

v = torch.tensor([[10, 20, 30]])
print('expand:', tuple(v.expand(2, -1).shape))

预期输出

text
x: (2, 3, 4)
reshape: (6, 4)
unsqueeze: (2, 1, 3, 4)
squeeze: (2, 3, 4)
transpose: (2, 4, 3)
transpose contiguous: False
permute: (4, 2, 3)
expand: (2, 3)

处理非连续张量与 expand

transpose 和 permute 通常只改变步幅,不复制数据,所以结果可能不是连续内存。此时若必须使用 view,先执行 t.contiguous().view(2, 12);如果只是想得到目标形状,t.reshape(2, 12) 更省心,因为它会在需要时自行复制。

expand 只能扩展长度为 1 的维度,例如 (1, 3) 可扩展为 (2, 3),参数 -1 表示该维保持原长度。它通过步幅为 0 的视图复用数据,不会真实复制两份;如果后续要原地修改扩展结果,应先调用 clone(),避免多个位置引用同一存储位置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

改变张量形状

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通