Swin Transformer:基于通用变压器的视觉骨干 源码

变形金刚 作者:*,*,*,*,,,和。 此回购协议是的正式实现。 该代码即将推出。 介绍 Swin Transformer最初在描述,它可以用作计算机视觉的通用骨干。 在两个领域之间的差异,例如视觉实体规模的巨大差异以及与文字中的单词相比,图像中像素的高分辨率,带来了使Transformer从语言适应视觉方面的挑战。 为了解决这些差异,我们提出了一个分层的Transformer,其表示是通过移动窗口来计算的。 通过将自注意计算限制为不重叠的局部窗口,同时允许跨窗口连接,移位的窗口方案带来了更高的效率。 这种分层体系结构具有在各种规模上建模的灵活性,并且相对于图像大小具有线性计算复杂性。 Swin变形金刚的这些品质使其可与多种视觉任务兼容,包括图像分类(ImageNet-1K的准确度为86.4最高-1)和密集的预测任务,例如目标检测(COCO测试中为58.7箱式AP和51.1遮罩式AP)