DALLE mtf:Open AI的DALL E用于网格张量流中的大规模训练 源码

Mesh-Tensorflow [WIP]中的DALL-E Mesh-Tensorflow中的Open-AI 。 如果这与具有类似的效率,则此回购库应该能够训练模型,并使模型达到Open-AI的DALL-E(12B参数)的大小,并大于Open-AI的DALL-E(12B参数)的大小。 没有预训练的模型...但是。 感谢的tf vae实施以及mtf版本的工作,以及的帮助来构建mtf VAE和输入管道。 设置 git clone https://github.com/EleutherAI/GPTNeo cd GPTNeo pip3 install -r requirements.txt 培训设置 在TPU上运行,未经GPU检验,但理论上应该可以工作。 示例配置旨在在TPU v3-32 pod上运行。 要设置TPU,请注册 ,然后创建一个。 通过带有ctpu up --vm-onl