ChatGPT与InstructGPT的区别与联系详解

GPT系列是OpenAI的一系列预训练模型。GPT的全称是Generative Pre-trained Transformer，它的目的是通过Transformer为基础模型，使用预训练技术得到通用的文本模型。目前已经公布的论文有文本预训练GPT-1、GPT-2、GPT-3，以及图像预训练iGPT。据传还未发布的GPT-4是一个多模态模型。最近非常火的ChatGPT和今年年初公布的InstructGPT是一对姐妹模型，是在GPT-4之前发布的预热模型，有时候也被叫做GPT-3.5。它们在模型结构、训练方式上都完全一致，即都使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导模型的训练，不同的仅仅是采集数据的方式上有所差异。ChatGPT是通过对社交媒体的聊天记录进行数据采集，而InstructGPT则是通过对人工提供的指令进行数据采集。ChatGPT主要用于生成自然语言对话，而InstructGPT则可以通过对话来执行特定的任务。因此，要深入了解ChatGPT，我们必须要先读懂InstructGPT。