机器学习与深度学习 / 系统课时
创建张量
创建张量
张量是 PyTorch 存储数据和执行计算的基本对象。本课将使用 Python 序列、指定形状、数值区间、随机分布和 NumPy 数组创建张量,并掌握形状、数据类型及内存共享等关键边界。
学习目标
- 使用常量、序列和工厂函数创建张量
- 在创建时指定形状、数据类型和随机生成方式
- 区分复制数据与共享底层内存的创建方法
从 Python 数据创建张量
torch.tensor() 可以接收标量、列表或嵌套列表,并根据数据推断张量形状。训练数据通常使用浮点类型,分类标签通常使用整数类型,因此建议在创建时明确传入 dtype。
嵌套列表的每一层长度必须一致。例如 [[1, 2], [3, 4]] 可以转换为形状为 (2, 2) 的张量,而不规则列表无法直接组成普通张量。
import numpy as np
import torch
# 从嵌套列表创建二维浮点张量
constant = torch.tensor(
[[1, 2], [3, 4]],
dtype=torch.float32,
)
# 按指定形状创建全零张量
zeros = torch.zeros((2, 3), dtype=torch.float32)
# 先生成连续整数,再调整为二维形状
sequence = torch.arange(0, 6).reshape(2, 3)
# 使用独立生成器创建服从标准正态分布的张量
generator = torch.Generator().manual_seed(7)
normal = torch.randn((2, 2), generator=generator)
# from_numpy 在 CPU 上与 NumPy 数组共享底层内存
source = np.array([10, 20, 30], dtype=np.int64)
shared = torch.from_numpy(source)
source[0] = 99
print('constant:')
print(constant)
print('zeros shape:', tuple(zeros.shape))
print('sequence:')
print(sequence)
print('normal shape/dtype:', tuple(normal.shape), normal.dtype)
print('shared after NumPy change:')
print(shared)预期输出
constant:
tensor([[1., 2.],
[3., 4.]])
zeros shape: (2, 3)
sequence:
tensor([[0, 1, 2],
[3, 4, 5]])
normal shape/dtype: (2, 2) torch.float32
shared after NumPy change:
tensor([99, 20, 30])使用形状工厂函数
当数据内容具有固定规律时,不需要先构造 Python 列表。torch.zeros() 创建全零张量,torch.ones() 创建全一张量,torch.full() 使用指定值填充,torch.empty() 只分配内存而不初始化内容。
torch.empty() 中出现的数值没有业务含义,必须在读取前完成赋值。它适合后续立即覆盖全部元素的性能敏感场景,不适合用作默认的零值容器。
创建张量时常用的控制参数包括 size、dtype 和 device。例如 torch.zeros((2, 3), dtype=torch.float32, device='cpu') 会直接在 CPU 上创建二维浮点张量。使用 GPU 时,应先确认 CUDA 可用,避免在无 GPU 环境中直接指定 device='cuda'。
创建序列与随机张量
torch.arange(start, end, step) 按给定步长创建左闭右开的数值序列,适合生成索引和测试数据。需要指定元素个数而不是固定步长时,可以使用 torch.linspace(start, end, steps)。
随机张量常用三类函数:torch.rand() 生成区间 [0, 1) 上的均匀分布数据,torch.randn() 生成均值为 0、标准差为 1 的正态分布数据,torch.randint() 生成指定范围内的随机整数。
随机函数可以通过 generator 使用独立随机状态。这样既能复现实验,又不会因为其他代码提前调用全局随机函数而改变本段代码的结果。
从现有数据转换
torch.tensor(data) 通常会复制输入数据,因此之后修改原对象不会影响新张量。torch.as_tensor(data) 会在条件允许时复用已有内存,无法复用时才执行复制。
torch.from_numpy(array) 专门将 NumPy 数组转换为 CPU 张量,并共享底层内存。示例中修改 source[0] 后,张量对应位置也变成了 99。如果需要彼此独立的数据,应调用 shared.clone() 创建副本。
共享内存可以避免复制大型数组,但也会产生联动修改。将 NumPy 数据交给模型前,应明确后续代码是否还会原地修改原数组。
检查创建结果
创建张量后,至少检查 shape、dtype 和 device。形状决定各维度的含义,数据类型影响精度和可用算子,设备决定计算发生在 CPU 还是加速设备上。
整数张量不能直接承载需要梯度的连续参数,神经网络输入和权重通常使用 torch.float32。分类标签则通常使用 torch.int64,以满足交叉熵等损失函数对类别索引的要求。