DialoGPT:进行对话的大规模预培训 源码

最先进的大规模预训练响应生成模型(DialoGPT) 该存储库包含大规模预训练对话响应生成模型的源代码和训练模型。 表明,在单转对话图灵测试下,DialoGPT产生的响应与人工响应质量相当。 该存储库基于和 ,包含数据提取脚本,模型训练代码以及预训练的小型(117M)中型(345M)和大型(762M)模型检查点。 该模型在Reddit讨论线程的147M多回合对话中进行训练。 最大的模型可以在8台V100机器上进行几个小时的培训(但是这不是必需的),并具有分布式培训和FP16选项。 include脚本可用于再现基于DSTC-7的对话生成挑战的结果以及根据Reddit数据创建的6k多参考数