bert:TensorFlow代码和BERT的预训练模型 源码

伯特 ***** 2020年3月11日新产品:更小的BERT模型***** 此版本发行了24个较小的BERT模型(仅限英语,无大小写,使用WordPiece掩码进行了培训),在读物精通的 。 我们已经证明,除了BERT-Base和BERT-Large之外,标准BERT配方(包括模型体系结构和训练目标)对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是,它们在知识提炼的情况下最有效,在这种情况下,微调标签是由更大,更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究,并鼓励社区寻找替代增加模型容量