机器学习与深度学习 / 系统课时

在 CPU 与 GPU 间迁移

在 CPU 与 GPU 间迁移

PyTorch 的运算跟随张量所在设备执行;仅“检测到 GPU”并不会自动把数据或模型搬过去。正确做法是先选出统一的 device,再让输入、参数和中间结果保持一致。本篇给出可直接运行的设备选择与迁移范式。

学习目标

  • 使用官方 API 检测 CUDA、MPS 与 CPU,并建立统一设备对象。
  • 用 .to(device) 迁移张量并验证运算实际发生在哪个设备。
  • 避免 CPU/GPU 混用、重复拷贝和不必要的同步。

先建立唯一的设备选择规则

PyTorch 2.x 中,NVIDIA GPU 使用 torch.cuda.is_available() 检测;Apple Silicon 的 Metal 后端可用 torch.backends.mps.is_available() 检测。项目里应集中生成一个 torch.device,后续代码只引用它,不要在不同文件里分别硬编码 "cuda"、"mps" 或 "cpu"。

推荐优先级是 CUDA→MPS→CPU。多张 NVIDIA GPU 时可明确使用 torch.device("cuda:0")、torch.device("cuda:1");单卡项目不要依赖隐式编号,以免部署到多卡机器后行为不明确。

迁移张量并让计算跟随设备

下面示例会在 CUDA 可用时使用 cuda:0,否则尝试 MPS,最后回退到 CPU。矩阵乘法 x @ w 会在两个输入张量所在的同一设备上执行,最后仅把结果搬回 CPU 以便打印为普通列表。

python
import torch

def choose_device() -> torch.device:
    if torch.cuda.is_available():
        return torch.device("cuda:0")
    if torch.backends.mps.is_available():
        return torch.device("mps")
    return torch.device("cpu")

device = choose_device()

x = torch.tensor(
    [[1.0, 2.0], [3.0, 4.0]],
    dtype=torch.float32,
).to(device)

# 直接在目标设备创建权重,避免先建 CPU 张量再复制一次。
w = torch.tensor(
    [[2.0, 0.0], [0.0, 3.0]],
    dtype=torch.float32,
    device=device,
)

y = x @ w

print(f"device={device.type}")
print(f"input_device={x.device.type}")
print(f"result_device={y.device.type}")
print(f"result={y.cpu().tolist()}")

预期输出

text
device=<DEVICE>
input_device=<DEVICE>
result_device=<DEVICE>
result=[[2.0, 6.0], [6.0, 12.0]]

其中 <DEVICE> 会是 cuda、mps 或 cpu,取决于当前机器可用的后端;三行设备名称应保持一致。数值结果不随设备变化。

训练时同时迁移模型和批次

使用 nn.Module 时,应在创建优化器之前先执行 model = model.to(device),训练循环中再对每个批次执行 inputs = inputs.to(device) 和 targets = targets.to(device)。参数与输入设备不一致时,算子通常会直接报设备不匹配错误,而不是自动帮你复制。

工程里可以把验收条件写成两条:next(model.parameters()).device == inputs.device,以及损失计算前 targets.device == inputs.device。这比只检查 torch.cuda.is_available() 更可靠,因为“机器有 GPU”并不能证明当前模型和数据已经位于 GPU。

如果数据加载器面向 CUDA,可设置 DataLoader(..., pin_memory=True),并在搬运批次时使用 .to(device, non_blocking=True)。只有在固定页内存等条件满足时,非阻塞传输才可能与计算重叠;对 CPU 或 MPS 不要把它当作通用加速开关。

减少来回迁移与隐式同步

设备迁移有成本。训练循环中不要每一步都把大张量 .cpu() 后又 .to(device);需要记录标量损失时,用 loss.item() 即可。若要保存大量预测结果,可以先在设备上累积到合理批次,再统一搬到 CPU,避免频繁的小拷贝。

.to(device) 在张量已经位于目标设备且 dtype 不变时通常不会产生实际复制;真正发生设备变化时才需要传输数据。调试时可打印 tensor.device、tensor.dtype 和 tensor.shape,优先确认设备一致性,再检查算子本身。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

在 CPU 与 GPU 间迁移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通