DEYOv2:基于DETR with YOLO的创新物体检测器

介绍了DEYOv2，这是DEYO（DETR with YOLO）模型的进一步改进。 DEYOv2采用了渐进式推理方法，旨在提高模型训练速度和性能。研究深入探讨了一对一匹配在优化中的局限性，并提出了有效的解决方案，包括Rank Feature和Greedy Matching。这种方法使得DEYOv2的第三阶段能够在无需NMS的情况下，最大程度地获取第一阶段和第二阶段的信息，从而实现了端到端的优化。DEYOv2充分利用了密集查询、稀疏查询、一对多匹配和一对一匹配的优势。在相同设置下，DEYOv2在所有基于查询的端到端检测器中表现优异。在使用ResNet-50作为主干和多尺度特征的COCO数据集上，DEYOv2在12和24个epoch中分别达到51.1 AP和51.8 AP。与端到端模型DINO相比，DEYOv2在两个epoch设置中提供了显著的性能提升，分别为2.1 AP和1.4 AP。DEYOv2是首个完全端到端的目标检测器，将经典检测器和基于YOLO的技术融合，实现了卓越的检测性能。