少量学习:GPT 3的少量学习 源码

语言模型的少量学习 这是一个代码库,可使用类似于语言模型来进行少量的“上下文内”学习。 特别是,将一些训练示例放入自然语言“提示”中,并通过从语言模型中生成进行预测。 有关更多信息,请参见和。 您可以使用GPT-3(如果您有OpenAI的密钥),GPT-2和可用的任何其他语言模型来运行此代码库。 如果您具有GPT-3密钥,则应将API密钥放入名为openai_key.txt的文件中。 您使用的基础模型是使用通用API提取的。 运行此代码库将在有或没有情况下报告结果。 依存关系 这段代码是使用PyTorch和。 如果您在本地运行模型(例如GPT-2),则代码需要一个GPU。 运行这些实验是相对轻量级的(无需培训),因此单个GPU就足够了。 从技术上讲,可以在没有GPU的情况下运行实验,但是运行时间会很慢。 安装 安装代码的最简单方法是创建一个全新的anaconda环境: conda c