机器学习与深度学习 / 系统课时
转换 NumPy 与张量
转换 NumPy 与张量
NumPy 常负责数据预处理,PyTorch 张量负责自动求导与设备计算。两者转换看似只是换类型,但是否复制内存会直接影响数据安全。本篇用可运行示例验证双向转换、共享存储与安全拷贝。
学习目标
- 使用
torch.from_numpy()与Tensor.numpy()完成双向转换。 - 判断转换后是否共享底层内存,并知道何时必须显式复制。
- 正确处理
dtype、CPU 设备和需要梯度的张量。
先区分共享与复制
从 NumPy 到 PyTorch,最需要先决定的是“要共享内存还是要独立副本”。对于常见数值类型,torch.from_numpy(array) 会让 CPU 张量与 ndarray 共享底层存储;任一方原地修改数据,另一方都能看到变化。torch.tensor(array) 则创建独立副本,更适合后续会原地改写数据的场景。
| 写法 | 是否通常复制数据 | 适合场景 |
|---|---|---|
torch.from_numpy(array) |
否,共享 CPU 内存 | 大数组零拷贝读取、数据不会被意外修改 |
torch.tensor(array) |
是 | 需要隔离 NumPy 与张量生命周期或原地修改 |
tensor.numpy() |
否,满足条件时共享 CPU 存储 | 将 CPU 张量交给 NumPy 处理 |
tensor.detach().cpu().numpy().copy() |
是 | 需要完全独立的 NumPy 结果 |
用修改结果验证内存共享
下面示例同时验证 NumPy→Tensor、Tensor→NumPy 两个方向的共享行为,并用 torch.tensor() 对比独立副本。适用于 PyTorch 2.x 与 NumPy 1.x/2.x 的常见 float32 数组。
import numpy as np
import torch
array = np.array([1.0, 2.0, 3.0], dtype=np.float32)
tensor = torch.from_numpy(array)
print(f"tensor_dtype={tensor.dtype}")
print(f"tensor_device={tensor.device}")
# 修改 NumPy,会立即反映到共享存储的 Tensor。
array[0] = 10.0
print(f"after_numpy_write={tensor.tolist()}")
# 修改 Tensor,也会反映回原来的 NumPy 数组。
tensor[1] = 20.0
print(f"after_tensor_write={array.tolist()}")
independent = torch.tensor(array)
array[2] = 30.0
print(f"copied_tensor={independent.tolist()}")
back = tensor.numpy()
back[0] = 99.0
print(f"after_numpy_view_write={tensor.tolist()}")预期输出
tensor_dtype=torch.float32
tensor_device=cpu
after_numpy_write=[10.0, 2.0, 3.0]
after_tensor_write=[10.0, 20.0, 3.0]
copied_tensor=[10.0, 20.0, 3.0]
after_numpy_view_write=[99.0, 20.0, 30.0]最后一行中的 30.0 来自先前对 array[2] 的修改,因为 tensor 仍与 array 共享同一块存储;independent 没有变化,证明 torch.tensor(array) 创建了独立数据副本。
从张量转回 NumPy时处理梯度和设备
Tensor.numpy() 直接共享内存需要张量位于 CPU,并且不能是仍参与自动求导的张量。训练或推理代码里更稳妥的转换写法是 tensor.detach().cpu().numpy():detach() 切断梯度关系,cpu() 确保数据位于 CPU,随后 NumPy 才能访问。
如果结果还要交给会原地修改数组的第三方库,再追加 .copy(),即 tensor.detach().cpu().numpy().copy()。这样修改返回的 ndarray 不会影响 PyTorch 张量。需要注意,从 GPU 调用 .cpu() 本身已经发生一次设备间复制,但随后得到的 NumPy 数组仍可能与这个新的 CPU 张量共享存储。
控制 dtype 与数组布局
NumPy 常把浮点数组创建成 float64,而深度学习模型通常使用 torch.float32。如果直接 torch.from_numpy(np_array),张量会保留 NumPy 的类型;例如 np.float64 会得到 torch.float64。需要 float32 时,可先执行 array.astype(np.float32, copy=False),再调用 torch.from_numpy()。
遇到切片或翻转后的特殊数组布局时,转换可能因为步幅不兼容而失败。工程中可先用 np.ascontiguousarray(array) 生成连续布局,再转换为张量。若目标是 CUDA 或 MPS,也应先从 NumPy 创建 CPU 张量,再通过 .to(device) 迁移;NumPy 本身不直接持有 PyTorch 的 GPU 存储。