fastai_ulmfit:fastai ulmfit 预训练语言模型微调和训练分类器 源码

从预培训到部署的带有SentencePiece的fast.ai ULMFiT 动机:为什么还要打扰非BERT / Transformer语言模型? 简短的答案:您可以使用ULMFiT在有限的数据和负担得起的硬件上训练最先进的文本分类器。 使用RTX 3090在我的工作站上,整个过程(准备Wikipedia转储,预训练语言模型,微调语言模型和训练分类器)大约需要5个小时。使用FP16训练模型所需的VRAM少于8 GB-因此您可以在负担得起的GPU上训练模型。 我还在fast.ai的路线图上看到了本文。2.3,这可以进一步改善性能。 此存储库基于fast.ai NLP课程存储库: : 预训练模型 德文/德文词汇量15000(SentencePiece令牌生成器)在160k德国Wikipedia-Articles(正向和反向模型)上进行了训练 设置 Python环境 经过测试 fast