ChatGPTAIGC九问九答

Q大规模预训练模型大模型与小模型的核心区别相比小模型大模型有什么优势首先最核心区别在于参数量例如GPT3参数量达到了1750亿个是传统深度字习小模型参数量的至少一万倍以上.通过模型的扩大可以带来提升包括1GPT2等大模型舍弃了小模型中常见的调参过程转向无监督训练2在NLP中常见小模型需要对不同的任务使用不同模型分别训练解决而GPT3等大规模预训练模型不再规定任务而是对不同任务都有较好效果3GPT3先使用海量数据预训练大模型得到一套模型参数然后用这套参数对模型进行初始化再进行训练.大幅降低后续对数据量的需求.Q.GPT3等大模型和Transformer的关联GPTBert等大模型都在目然语后测以应用.而Transformer是目前NLP领域效果较好的深度学习模型因此GPTBert等都使用了Transformer.Transformer最大的特点是可以让每个单元都可以捕捉到整句的信息这也是RNN LSTM等更早期NLP模型无法做到的一点.