GPT2:OpenAI GPT 2的PyTorch实施 源码

GPT-2 PyTorch实施 目录 介绍 该项目是OpenAI GPT-2模型的PyTorch实现。 它提供模型训练,句子生成和量度可视化。 它被认为是可以理解和优化的。 我们设计的代码易于理解。 另外,我们使用来提高性能。 依存关系 正则表达式 tqdm 火炬 麻木 matplotlib 用法 怎么训练? 在训练GPT-2模型之前,应准备语料库数据集。 我们建议使用构建自己的语料库。 相反,训练模块需要带有词汇表文件的标记化训练和评估数据集。 准备数据集后,可以使用以下方法训练GPT-2: $ python -m gpt2 train --train_corpus build/corpus.train.txt \ --eval_corpus build/corpus.test.txt \