fastmoe:PyTorch的快速MoE提示 源码

|| 介绍 一个易于使用且高效的系统,可支持PyTorch的专家混合(MoE)模型。 安装 先决条件 带有CUDA的PyTorch是必需的。 该存储库目前已通过PyTorch v1.8.0和CUDA 10进行了测试,并具有对较早版本的设计兼容性。 如果启用了分布式专家功能,则需要具有P2P通信支持的NCCL,通常版本>=2.7.5 。 正在安装 FastMoE包含一组PyTorch定制的运算符,包括C和Python组件。 使用python setup.py install可以轻松安装并享受使用FastMoE进行培训的乐趣。 分布式专家功能默认情况下处于禁用状态。 如果要启用它, USE_NCCL=1环境变量USE_NCCL=1传递给安装脚本。 请注意,需要一个额外的NCCL开发人员程序包,该程序包必须与您的PyTorch的NCCL版本一致,可以通过运行torch.cuda.nccl.