PyTorch 跨 GPU/cuDNN/AMP/DDP 如何保证逐位一致训练?
技术老齐
结论
不能保证。torch.use_deterministic_algorithms(True)、cudnn.deterministic=True 和固定 seed 解决的是同一硬件、同一套 PyTorch/CUDA/cuDNN/cuBLAS、同一执行路径下的可重复性,并不承诺跨 A100/T4、跨 cuDNN/cuBLAS 版本、AMP 与 FP32、DDP 与单卡、GPU 与 CPU fallback 时仍然 bit-for-bit 一致。step 0 的权重哈希相同、step 1 已经不同,说明第一次前向/反向过程中,算子实现或浮点归约顺序就已经出现差异。跑到约 2000 步后完全发散,是数值误差被训练动力学逐步放大的结果,不能简单归因于 seed 没设好。
为什么会不同
- 不同 GPU 架构会调用不同的 kernel,tile/reduction 顺序不同,Tensor Core 支持和指令选择也不一样。
- cuDNN/cuBLAS 版本变化会改变卷积、矩阵乘和归约的实现。即便都开了 deterministic,跨版本也未必逐位相同。
- AMP 和 FP32 在舍入、累加精度、loss scaling 路径上都不同,拿它们做 bit-identical 比较没有意义。
- DDP 的梯度 allreduce、bucket 顺序和通信拓扑都与单卡不同;梯度归约顺序一变,数值结果就可能跟着变。
- DataLoader 的 worker 数量本身不是数学变量,但只要数据增强、采样或随机数依赖全局 RNG 或 worker 调用顺序,改
num_workers就会改变 batch 内容。 - CPU fallback 和 GPU 的浮点实现、归约顺序不同,结果无法逐位一致。
如果必须尽量一致
如果希望结果尽量一致,就要把变量控制到最少:使用同一 GPU 型号、驱动、CUDA、cuDNN/cuBLAS、PyTorch 版本和容器镜像;固定 world size、batch size、数据顺序、精度和执行拓扑;不要混用 AMP 和 FP32,也不要依赖 CPU fallback。像 A100 与 T4 这种跨架构场景,通常只能做到数值接近,无法严格 bit-identical。
建议验证顺序:
- 先在同一张卡、FP32、
num_workers=0的单卡配置下,确认能逐位复现。 - 再逐项引入变量:先开 AMP,再加 workers,然后上 DDP,最后换 GPU 或库版本。每一步都比较 step 1 的 loss、梯度和参数最大绝对误差。
- 跨硬件验收时用
torch.allclose和 max abs diff,不要只看 loss 是否完全相等。
配置示例
import os
os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8'
os.environ['PYTHONHASHSEED'] = '0'
import random
import numpy as np
import torch
from torch.utils.data import DataLoader
def set_seed(seed=0):
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
set_seed(0)
torch.use_deterministic_algorithms(True)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.allow_tf32 = False
torch.backends.cuda.matmul.allow_tf32 = False
torch.set_float32_matmul_precision('highest')
g = torch.Generator()
g.manual_seed(0)
def worker_init_fn(worker_id):
# 让每个 worker 的随机源可复现;数据增强最好绑定样本索引而非 worker 调用顺序
s = 1234 + worker_id
random.seed(s)
np.random.seed(s)
torch.manual_seed(s)
loader = DataLoader(
dataset,
batch_size=32,
shuffle=True,
generator=g,
num_workers=4,
worker_init_fn=worker_init_fn,
)
如果使用 AMP,要固定 autocast dtype 和 loss scaling 策略;版本支持的话,可以关闭 reduced precision reduction,例如:
torch.backends.cuda.matmul.allow_fp16_reduced_precision_reduction = False
torch.backends.cuda.matmul.allow_bf16_reduced_precision_reduction = False
DDP 需要先固定拓扑再比较,不能指望它和单卡 bitwise 相同:
import torch.distributed as dist
dist.init_process_group('nccl')
torch.cuda.set_device(local_rank)
model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[local_rank])
注意事项
- 要在 import torch 或初始化 CUDA 之前设置
CUBLAS_WORKSPACE_CONFIG。 - 不要用
warn_only=True掩盖不确定算子。先让报错暴露问题,再逐个替换。 - A100 上要显式关闭 TF32;T4 本身不支持 TF32,这本身就是跨架构差异的来源之一。
- 如果要求严格 bit-identical,优先使用相同 GPU 型号和同一软件镜像;否则就接受容差比较和统计等价。
备注:内容仅供参考。
