分布式通信包 torch.distributed

torch.distributed包为在一台或多台机器上运行的多个计算节点上的多进程并行性提供pytorch支持和通信原语。 参数含义: world_size:分布式主机的数目。 初始化过程: torch.distributed.is_initialized(): 检查是否已初始化默认进程组。 torch.distributed.get_rank(group=): 返回当前进程组的排名。 Rank是分配给分布式进程组中每个进程的唯一标识符。它们总是从0到world_size的连续整数。 参考: https://github.com/apachecn/pytorch-doc-zh/blob/ma