vision_transformer 源码

视觉变压器 作者:Alexey Dosovitskiy *†,Lucas Beyer *,Alexander Kolesnikov *,Dirk Weissenborn *,翟小华*,Thomas Unterthiner,Mostafa Dehghani,Matthias Minderer,Georg Heigold,Sylvain Gelly,Jakob Uszkoreit和Neil Houlsby *†。 (*)等于技术贡献,(†)等于建议。 由Andreas Steiner准备的开源发行版。 注意:此存储库是从分支和修改的。 介绍 在此存储库中,我们从论文 释放模型,这些模型已在 ( imagenet21k )数据集上进行了预训练。 我们提供用于微调 / 已发布模型的代码。 模型概述:我们将图像分割成固定大小的块,线性地嵌入每个块,添加位置嵌入,然后将所得的矢量序列馈送到标