垂直管道 源码

VPipe 该存储库正在积极更新和合并我们的开发分支。 README正在同时更新。 建立 对于多节点,请确保已安装驱动程序以实现最佳通信性能。 实验 伯特 设置环境 下载并预处理数据集。 BERT预训练使用以下数据集: 维基百科 BookCorpus 要下载,验证,提取数据集并以.hdf5格式创建碎片,请运行: 下载 python3 /workspace/bert/data/bertPrep.py --action download --dataset bookscorpus python3 /workspace/bert/data/bertPrep.py --action down