知识蒸馏概念与发展【附上8篇经典的相关paper】.zip

Hinton在NIPS 2014workshop中提出知识蒸馏（Knowledge Distillation，下面简称KD）概念： 把复杂模型或者多个模型Ensemble（Teacher）学到的知识 迁移到另一个轻量级模型（ Student ）上叫知识蒸馏。使模型变轻量的同时（方便部署），尽量不损失性能。