pytorch实现具备预训练参数加载功能的bert模型

在pytorch上实现了bert模型并且实现了预训练参数加载功能可以加载huggingface上的预训练模型参数.主要包含以下内容1实现BertEmbeddings Transformer BerPooler等Bert模型所需子模块代码.2在子模块基础上定义Bert模型结构.3定义Bert模型的参数配置接口.4定义自己搭建的Bert模型和huggingface上预训练的Bert模型的参数映射关系.5定义加载huggingface上预训练的Bert模型的参数到本地Bert模型的方法.Bert模型结构参考HuggingFace的BERT结构.主要包括BertEmbedding BertEncoder和BertPooler三部分.参考了HuggingFace的bert base uncased预训练模型的结构参数总共包含了12层Transformer.vocab size为bert base uncased预训练模型的字典大小hidden size为768attention head num为12intermediate size为3072.