机器学习与深度学习 / 系统课时
读取张量属性
读取张量属性
拿到一个张量后,最先需要确认的通常不是具体数值,而是它有几维、每一维多大、使用什么数据类型以及位于哪个设备。本课用 PyTorch 的标准属性读取这些信息,并给出定位模型输入形状和设备不一致问题时可直接使用的检查方法。
学习目标
- 使用
shape、size()、ndim和numel()判断张量结构 - 使用
dtype和device检查数据类型与计算设备 - 根据属性信息快速识别常见的形状、类型和设备不匹配
查看形状、维度与元素数量
tensor.shape 返回 torch.Size,其中每个数字对应一条轴的长度;tensor.ndim 返回轴的数量;tensor.numel() 返回全部元素数量。size() 与 shape 表达的是同一组尺寸,也可以通过 size(dim) 只读取某一维。
import torch
x = torch.zeros(32, 3, 224, 224)
print(x.shape)
print(x.size())
print(x.ndim)
print(x.size(0))
print(x.numel())预期输出
torch.Size([32, 3, 224, 224])
torch.Size([32, 3, 224, 224])
4
32
4816896这里可以把形状解释为批量大小 32、通道数 3、高 224、宽 224。元素总数应为 32 * 3 * 224 * 224 = 4816896。排查图像模型输入时,先确认这四个位置是否符合模型约定,比直接阅读几百万个数值更有效。
检查数据类型
dtype 决定每个元素的表示方式以及可参与的运算。神经网络参数和大多数输入通常使用 torch.float32;分类标签经常使用 torch.int64,它也是 torch.long 的实际类型。
import torch
features = torch.tensor([[1.2, 2.4], [3.6, 4.8]], dtype=torch.float32)
labels = torch.tensor([0, 2], dtype=torch.int64)
mask = torch.tensor([True, False])
print(features.dtype)
print(labels.dtype)
print(mask.dtype)
print(features.element_size())预期输出
torch.float32
torch.int64
torch.bool
4element_size() 返回单个元素占用的字节数,因此 float32 为 4 字节。若一个张量有 100 万个 float32 元素,仅原始数据约占 4 MB;切换为 float64 后则约为 8 MB。
确认张量所在设备
tensor.device 表示张量所在的设备。默认创建通常位于 CPU;如果张量被移动到 CUDA GPU,则会显示类似 cuda:0。使用设备相关代码时,先通过 torch.cuda.is_available() 判断当前环境是否真正支持 CUDA。
import torch
x = torch.ones(2, 3)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
x = x.to(device)
print(x.device.type)
print(x.shape)
print(x.dtype)预期结果
当前机器没有可用 CUDA 时:
cpu
torch.Size([2, 3])
torch.float32具有可用 CUDA 环境时,第一行预期为:
cuda其余两行仍为 torch.Size([2, 3]) 和 torch.float32。.to(device) 会返回位于目标设备上的张量,因此应写成 x = x.to(device);只调用 x.to(device) 而丢弃返回值,不会让变量 x 自动指向新的张量。
用属性定位常见错误
模型执行失败时,可以在进入关键层之前一次打印 shape、dtype 和 device。例如线性层要求输入最后一维为 4,而实际输入最后一维为 5,属性检查能在矩阵乘法报错前直接暴露问题。
import torch
x = torch.randn(8, 5)
expected_features = 4
print("shape:", x.shape)
print("dtype:", x.dtype)
print("device:", x.device)
print("last_dim_ok:", x.shape[-1] == expected_features)预期输出
shape: torch.Size([8, 5])
dtype: torch.float32
device: cpu
last_dim_ok: False如果程序实际运行在 GPU,device 行可能显示 cuda:0 等设备编号。排查时可以固定按 形状 → 数据类型 → 设备 的顺序检查:形状决定运算能否对齐,类型决定算子是否接受该数据,设备则决定参与同一运算的张量能否彼此访问。