pytorch实现具备预训练参数加载功能的bert模型
在pytorch上实现了bert模型并且实现了预训练参数加载功能可以加载huggingface上的预训练模型参数.主要包含以下内容1实现BertEmbeddings Transformer BerPooler等Bert模型所需子模块代码.2在子模块基础上定义Bert模型结构.3定义Bert模型的参数配置接口.4定义自己搭建的Bert模型和huggingface上预训练的Bert模型的参数映射关系.5定义加载huggingface上预训练的Bert模型的参数到本地Bert模型的方法.Bert模型结构参考HuggingFace的BERT结构.主要包括BertEmbedding BertEncoder和BertPooler三部分.参考了HuggingFace的bert base uncased预训练模型的结构参数总共包含了12层Transformer.vocab size为bert base uncased预训练模型的字典大小hidden size为768attention head num为12intermediate size为3072.
下载地址
用户评论
一份详细又易懂的pytorch实现教程，非常感谢作者的分享。
感谢作者的分享，我终于摆脱了加载预训练参数的困扰。
简单明了，帮助我快速上手加载预训练参数的bert模型。
这个文件教会了我如何加载预训练参数，感觉自己骄傲了一整天。
这份教程对于我来说太有用了，终于能够方便地使用bert模型。
太棒了，终于找到了一个可以加载预训练参数的bert模型实现教程。