Self Distillation Towards Efficient and Compact Neural Networks

论文速递TPAMI2022 自蒸馏迈向高效紧凑的神经网络在过去的几年里深度神经网络取得了显著的成就.然而神经网络精度的突破总是伴随着计算和参数的爆炸式增长这导致了模型部署的严重限制.在本文中我们提出了一种名为自蒸馏的新型知识蒸馏技术来解决这个问题.自蒸馏在神经网络的不同深度附加了几个注意力模块和浅层分类器并将知识从最深的分类器提炼到较浅的分类器.与传统的知识蒸馏方法不同教师模型的知识转移到另一个学生模型中自我蒸馏可以被视为同一模型中的知识转移从深层到浅层.此外自蒸馏中的附加分类器允许神经网络以动态方式工作从而导致更高的加速度.实验表明自蒸馏在各种神经网络和数据集上具有一致且显著的有效性.平均而言在CIFAR100和ImageNet上观察到3.49和2.32的精度提升.此外实验表明自蒸馏可以与其他模型压缩方法相结合包括知识蒸馏修剪和轻量级模型设计.