机器学习与深度学习 / 系统课时
改变张量形状
改变张量形状
改变形状不会改变张量表达的数据含义,但会直接影响后续算子能否接收输入。本课用固定元素数量的示例演示 reshape、squeeze、unsqueeze、transpose、permute 和 expand,并处理非连续内存这一常见边界。
学习目标
- 使用
reshape和view调整形状并理解元素数量约束。 - 使用
squeeze、unsqueeze和expand管理单例维度。 - 使用
transpose、permute调整轴顺序,并正确处理非连续张量。
重塑时先检查元素数量
形状从 (2, 3, 4) 改为 (6, 4) 是合法的,因为两者都包含 24 个元素。reshape 支持使用一个 -1 自动推断维度,例如 x.reshape(2, -1) 会得到 (2, 12);同一次重塑中只能出现一个 -1。
reshape 可能返回视图,也可能在必要时创建副本,因此不要依赖它与原张量共享存储。view 在形状与步幅兼容时返回视图,但对转置后的非连续张量经常不能直接使用。
压缩和扩展单例维度
squeeze(dim) 只会删除长度为 1 的指定维度;如果该维度长度不是 1,张量形状保持不变。unsqueeze(dim) 则插入一个长度为 1 的新维度。
例如 (3, 4) 的图像批次缺少 batch 维时,可用 x.unsqueeze(0) 得到 (1, 3, 4);模型输出 (1, 10, 1) 若只想去掉最后一维,应写 squeeze(-1),不要无参数 squeeze(),以免意外把 batch 维也删除。
调整轴顺序
transpose(dim0, dim1) 只交换两个维度,适合简单换轴;permute(...) 可一次重新排列所有维度。例如 NCHW 数据 (8, 3, 224, 224) 转为 NHWC 时可写 x.permute(0, 2, 3, 1),结果形状为 (8, 224, 224, 3)。
下面的示例集中验证常用形状操作:
import torch
x = torch.arange(24).reshape(2, 3, 4)
print('x:', tuple(x.shape))
print('reshape:', tuple(x.reshape(6, 4).shape))
print('unsqueeze:', tuple(x.unsqueeze(1).shape))
print('squeeze:', tuple(x.unsqueeze(1).squeeze(1).shape))
t = x.transpose(1, 2)
print('transpose:', tuple(t.shape))
print('transpose contiguous:', t.is_contiguous())
print('permute:', tuple(x.permute(2, 0, 1).shape))
v = torch.tensor([[10, 20, 30]])
print('expand:', tuple(v.expand(2, -1).shape))预期输出
x: (2, 3, 4)
reshape: (6, 4)
unsqueeze: (2, 1, 3, 4)
squeeze: (2, 3, 4)
transpose: (2, 4, 3)
transpose contiguous: False
permute: (4, 2, 3)
expand: (2, 3)处理非连续张量与 expand
transpose 和 permute 通常只改变步幅,不复制数据,所以结果可能不是连续内存。此时若必须使用 view,先执行 t.contiguous().view(2, 12);如果只是想得到目标形状,t.reshape(2, 12) 更省心,因为它会在需要时自行复制。
expand 只能扩展长度为 1 的维度,例如 (1, 3) 可扩展为 (2, 3),参数 -1 表示该维保持原长度。它通过步幅为 0 的视图复用数据,不会真实复制两份;如果后续要原地修改扩展结果,应先调用 clone(),避免多个位置引用同一存储位置。