免费可商用开源GPT模型问世，50G权重直接下载，性能不输GPT-3

真·开源GPT模型，终于来了。参数量级130亿，大小比肩最近Meta开放的LLaMA-13B，但从数据集、模型权重到计算优化训练，全部开源。最关键的是，可商用。没错，虽然就GPT-3而言，之前DeepMind、Meta等组织陆陆续续开源过几个模型，不过基本都是半遮半掩。尤其最接近GPT-3的Meta OPT模型，不仅权重只开放给研究者，而且不可商用：这意味着之前企业就算能抄作业，抄来的也没办法直接用。现在，一家名叫Cerebras的公司开源了这一系列GPT模型，业界终于有机会追赶了。模型性能如何？ Cerebras一共开源了7个GPT模型，参数量分别达到1.11亿、2.56亿、5.9亿、13亿、27亿、67亿和130亿。据Cerebras公司表示，他们开放出来的模型不仅包含数据集，可用于研究也可商用，而且关键是预训练模型权重开放（从下图来看文件大小近50G）。基于他们公开的预训练模型，大伙儿只需要用少量的数据对对模型进行微调，就能构建出效果不错的模型来。除此之外，这次GPT模型的训练还额外考虑到了计算优化训练（Compute-Optimal Training）