机器学习与深度学习 / 系统课时

转换 NumPy 与张量

转换 NumPy 与张量

NumPy 常负责数据预处理,PyTorch 张量负责自动求导与设备计算。两者转换看似只是换类型,但是否复制内存会直接影响数据安全。本篇用可运行示例验证双向转换、共享存储与安全拷贝。

学习目标

  • 使用 torch.from_numpy() 与 Tensor.numpy() 完成双向转换。
  • 判断转换后是否共享底层内存,并知道何时必须显式复制。
  • 正确处理 dtype、CPU 设备和需要梯度的张量。

先区分共享与复制

从 NumPy 到 PyTorch,最需要先决定的是“要共享内存还是要独立副本”。对于常见数值类型,torch.from_numpy(array) 会让 CPU 张量与 ndarray 共享底层存储;任一方原地修改数据,另一方都能看到变化。torch.tensor(array) 则创建独立副本,更适合后续会原地改写数据的场景。

写法 是否通常复制数据 适合场景
torch.from_numpy(array) 否,共享 CPU 内存 大数组零拷贝读取、数据不会被意外修改
torch.tensor(array) 是 需要隔离 NumPy 与张量生命周期或原地修改
tensor.numpy() 否,满足条件时共享 CPU 存储 将 CPU 张量交给 NumPy 处理
tensor.detach().cpu().numpy().copy() 是 需要完全独立的 NumPy 结果

用修改结果验证内存共享

下面示例同时验证 NumPy→Tensor、Tensor→NumPy 两个方向的共享行为,并用 torch.tensor() 对比独立副本。适用于 PyTorch 2.x 与 NumPy 1.x/2.x 的常见 float32 数组。

python
import numpy as np
import torch

array = np.array([1.0, 2.0, 3.0], dtype=np.float32)
tensor = torch.from_numpy(array)

print(f"tensor_dtype={tensor.dtype}")
print(f"tensor_device={tensor.device}")

# 修改 NumPy,会立即反映到共享存储的 Tensor。
array[0] = 10.0
print(f"after_numpy_write={tensor.tolist()}")

# 修改 Tensor,也会反映回原来的 NumPy 数组。
tensor[1] = 20.0
print(f"after_tensor_write={array.tolist()}")

independent = torch.tensor(array)
array[2] = 30.0
print(f"copied_tensor={independent.tolist()}")

back = tensor.numpy()
back[0] = 99.0
print(f"after_numpy_view_write={tensor.tolist()}")

预期输出

text
tensor_dtype=torch.float32
tensor_device=cpu
after_numpy_write=[10.0, 2.0, 3.0]
after_tensor_write=[10.0, 20.0, 3.0]
copied_tensor=[10.0, 20.0, 3.0]
after_numpy_view_write=[99.0, 20.0, 30.0]

最后一行中的 30.0 来自先前对 array[2] 的修改,因为 tensor 仍与 array 共享同一块存储;independent 没有变化,证明 torch.tensor(array) 创建了独立数据副本。

从张量转回 NumPy时处理梯度和设备

Tensor.numpy() 直接共享内存需要张量位于 CPU,并且不能是仍参与自动求导的张量。训练或推理代码里更稳妥的转换写法是 tensor.detach().cpu().numpy():detach() 切断梯度关系,cpu() 确保数据位于 CPU,随后 NumPy 才能访问。

如果结果还要交给会原地修改数组的第三方库,再追加 .copy(),即 tensor.detach().cpu().numpy().copy()。这样修改返回的 ndarray 不会影响 PyTorch 张量。需要注意,从 GPU 调用 .cpu() 本身已经发生一次设备间复制,但随后得到的 NumPy 数组仍可能与这个新的 CPU 张量共享存储。

控制 dtype 与数组布局

NumPy 常把浮点数组创建成 float64,而深度学习模型通常使用 torch.float32。如果直接 torch.from_numpy(np_array),张量会保留 NumPy 的类型;例如 np.float64 会得到 torch.float64。需要 float32 时,可先执行 array.astype(np.float32, copy=False),再调用 torch.from_numpy()。

遇到切片或翻转后的特殊数组布局时,转换可能因为步幅不兼容而失败。工程中可先用 np.ascontiguousarray(array) 生成连续布局,再转换为张量。若目标是 CUDA 或 MPS,也应先从 NumPy 创建 CPU 张量,再通过 .to(device) 迁移;NumPy 本身不直接持有 PyTorch 的 GPU 存储。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

转换 NumPy 与张量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通