机器学习与深度学习 / 系统课时

张量的设备迁移

张量的设备迁移

模型训练时,张量和模型参数必须位于同一计算设备。本课用一个可运行示例完成 CPU/GPU 自动选择、整体迁移和结果校验,并说明最常见的设备不一致问题。

学习目标

  • 理解张量、模型参数和运算设备必须一致的规则
  • 掌握 to(device)、cpu() 与设备自动选择的用法
  • 能定位未赋值迁移、NumPy 转换等常见错误

设备迁移的核心规则

PyTorch 的每个张量都有 device 属性,常见值是 cpu 或 cuda:0。一次运算涉及的输入张量、模型参数和辅助张量通常必须位于同一设备,否则会触发设备不一致异常。

迁移张量时,tensor.to(device) 会返回目标设备上的张量,应接收返回值;迁移模型时,通常写成 model = model.to(device),让代码清楚表达模型已切换设备。

CPU 与 GPU 之间的张量迁移流程

统一选择计算设备

推荐只在程序入口确定一次设备,并把该变量传给模型、批次数据和新建张量。下面的表达式会在 CUDA 可用时选择第一块 GPU,否则回退到 CPU:

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

这种写法不会保证一定使用 GPU,但能让同一份代码在不同机器上运行。多 GPU、Apple 芯片的 MPS 等场景需要额外选择策略,本课先聚焦单设备迁移。

完整迁移示例

下面的程序同时迁移模型、输入和标签,并通过设备比较验证迁移结果。保存为 device_transfer.py 后直接运行。

python
import torch
from torch import nn

def main() -> None:
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

    # 模型参数与输入必须使用同一个 device。
    model = nn.Sequential(
        nn.Linear(4, 8),
        nn.ReLU(),
        nn.Linear(8, 2),
    ).to(device)

    # 张量迁移会返回新引用,因此必须接收 to(device) 的结果。
    features = torch.tensor(
        [[1.0, 2.0, 3.0, 4.0], [4.0, 3.0, 2.0, 1.0]],
        dtype=torch.float32,
    ).to(device)
    labels = torch.tensor([0, 1], dtype=torch.long, device=device)

    # 这里只验证迁移结果,关闭梯度可减少额外开销。
    with torch.no_grad():
        logits = model(features)

    model_device = next(model.parameters()).device
    print(f"input_device == model_device: {features.device == model_device}")
    print(f"label_device == model_device: {labels.device == model_device}")
    print(f"output_shape: {tuple(logits.shape)}")
    print(f"output_device == model_device: {logits.device == model_device}")

if __name__ == "__main__":
    main()

预期输出

text
input_device == model_device: True
label_device == model_device: True
output_shape: (2, 2)
output_device == model_device: True

无论程序最终选择 CPU 还是 GPU,上述布尔值都应为 True,因此该输出可以稳定验证设备是否统一。

常见错误与修复

最常见的问题是模型已迁移到 GPU,但输入仍在 CPU。应在每个训练批次进入模型前执行 features = features.to(device),标签参与损失计算时也要同步迁移。

第二类错误是只调用 features.to(device) 却没有接收返回值。此时原变量仍可能留在 CPU,应写成重新赋值,或在创建张量时直接传入 device=device。

将结果交给 NumPy 前,张量必须回到 CPU,并与计算图断开。训练代码中通常使用 result.detach().cpu().numpy();直接对 GPU 张量调用 numpy() 会失败。

迁移后的检查方法

调试时可比较 tensor.device 与 next(model.parameters()).device。若模型没有参数,例如只包含无参数算子,则应检查模型缓冲区或直接记录程序统一使用的 device 变量。

迁移只改变数据所在设备,不会自动修改数据类型。需要半精度时,应单独选择 float16、自动混合精度或其他精度策略,避免把“设备迁移”和“精度转换”混为一谈。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

张量的设备迁移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通