MindSpore MindFormers套件的并行技术和组件化设计

该套件旨在提供业内主流的Transformer类预训练模型和SOTA下游任务应用，并涵盖丰富的并行特性，支持一键启动任意任务的训练、评估、推理流程。此外，它还提供了Trainer、ModelClass、ConfigClass、pipeline等高阶易用性接口，并支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等。MindSpore MindFormers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：一行代码实现从单卡到大规模集群训练的无缝切换，提供灵活易用的个性化并行配置，能够自动进行拓扑感知，高效地融合数据并行和模型并行策略。如果您有任何建议，请通过Gitee或MindSpore与我们联系，我们将及时处理。支持的模型列表包括：BERT、GPT、OPT、T5、MAE、SimMIM、CLIP、FILIP、Vit、Swin等。