PAYATHON 2026

PyTorch 跨 GPU/cuDNN/AMP/DDP 如何保证逐位一致训练?

技术老齐

结论

不能保证。torch.use_deterministic_algorithms(True)、cudnn.deterministic=True 和固定 seed 解决的是同一硬件、同一套 PyTorch/CUDA/cuDNN/cuBLAS、同一执行路径下的可重复性,并不承诺跨 A100/T4、跨 cuDNN/cuBLAS 版本、AMP 与 FP32、DDP 与单卡、GPU 与 CPU fallback 时仍然 bit-for-bit 一致。step 0 的权重哈希相同、step 1 已经不同,说明第一次前向/反向过程中,算子实现或浮点归约顺序就已经出现差异。跑到约 2000 步后完全发散,是数值误差被训练动力学逐步放大的结果,不能简单归因于 seed 没设好。

为什么会不同

  • 不同 GPU 架构会调用不同的 kernel,tile/reduction 顺序不同,Tensor Core 支持和指令选择也不一样。
  • cuDNN/cuBLAS 版本变化会改变卷积、矩阵乘和归约的实现。即便都开了 deterministic,跨版本也未必逐位相同。
  • AMP 和 FP32 在舍入、累加精度、loss scaling 路径上都不同,拿它们做 bit-identical 比较没有意义。
  • DDP 的梯度 allreduce、bucket 顺序和通信拓扑都与单卡不同;梯度归约顺序一变,数值结果就可能跟着变。
  • DataLoader 的 worker 数量本身不是数学变量,但只要数据增强、采样或随机数依赖全局 RNG 或 worker 调用顺序,改 num_workers 就会改变 batch 内容。
  • CPU fallback 和 GPU 的浮点实现、归约顺序不同,结果无法逐位一致。

如果必须尽量一致

如果希望结果尽量一致,就要把变量控制到最少:使用同一 GPU 型号、驱动、CUDA、cuDNN/cuBLAS、PyTorch 版本和容器镜像;固定 world size、batch size、数据顺序、精度和执行拓扑;不要混用 AMP 和 FP32,也不要依赖 CPU fallback。像 A100 与 T4 这种跨架构场景,通常只能做到数值接近,无法严格 bit-identical。

建议验证顺序:

  1. 先在同一张卡、FP32、num_workers=0 的单卡配置下,确认能逐位复现。
  2. 再逐项引入变量:先开 AMP,再加 workers,然后上 DDP,最后换 GPU 或库版本。每一步都比较 step 1 的 loss、梯度和参数最大绝对误差。
  3. 跨硬件验收时用 torch.allclose 和 max abs diff,不要只看 loss 是否完全相等。

配置示例

import os
os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8'
os.environ['PYTHONHASHSEED'] = '0'

import random
import numpy as np
import torch
from torch.utils.data import DataLoader

def set_seed(seed=0):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)

set_seed(0)
torch.use_deterministic_algorithms(True)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.allow_tf32 = False
torch.backends.cuda.matmul.allow_tf32 = False
torch.set_float32_matmul_precision('highest')

g = torch.Generator()
g.manual_seed(0)

def worker_init_fn(worker_id):
    # 让每个 worker 的随机源可复现;数据增强最好绑定样本索引而非 worker 调用顺序
    s = 1234 + worker_id
    random.seed(s)
    np.random.seed(s)
    torch.manual_seed(s)

loader = DataLoader(
    dataset,
    batch_size=32,
    shuffle=True,
    generator=g,
    num_workers=4,
    worker_init_fn=worker_init_fn,
)

如果使用 AMP,要固定 autocast dtype 和 loss scaling 策略;版本支持的话,可以关闭 reduced precision reduction,例如:

torch.backends.cuda.matmul.allow_fp16_reduced_precision_reduction = False
torch.backends.cuda.matmul.allow_bf16_reduced_precision_reduction = False

DDP 需要先固定拓扑再比较,不能指望它和单卡 bitwise 相同:

import torch.distributed as dist

dist.init_process_group('nccl')
torch.cuda.set_device(local_rank)
model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[local_rank])

注意事项

  • 要在 import torch 或初始化 CUDA 之前设置 CUBLAS_WORKSPACE_CONFIG。
  • 不要用 warn_only=True 掩盖不确定算子。先让报错暴露问题,再逐个替换。
  • A100 上要显式关闭 TF32;T4 本身不支持 TF32,这本身就是跨架构差异的来源之一。
  • 如果要求严格 bit-identical,优先使用相同 GPU 型号和同一软件镜像;否则就接受容差比较和统计等价。

备注:内容仅供参考。