目标检测中的聚焦与全局知识蒸馏

目前，知识蒸馏已在图像分类领域取得显著进展，然而在目标检测方面，这一过程更为复杂。大多数现有的知识蒸馏方法在目标检测任务上面临挑战。本研究聚焦于目标检测中知识蒸馏的应用。在目标检测中，教师与学生模型在不同区域的特征存在显著差异，尤其是在前景和背景之间。针对这一问题，提出了Focal and Global Distillation（FGD）。聚焦蒸馏通过区分前景和背景，迫使学生网络专注于教师网络关键像素和通道。全局蒸馏则重建了不同像素之间的关系，并将其从教师模型传递到学生模型。由于该方法仅需要计算特征图上的损失，FGD可以适用于各种目标检测模型。实验证明，在不同模型上，该方法相较于基准模型提高了2-3个性能点。