模型剪枝学习笔记4–Layer wise Pruning and Auto tuning of Layer wise Learning Rates

Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates in Fine-tuning of Deep Networks 这篇论文是上个月刚出的关于剪枝方面的论文。作者:首尔大学团队 论文下载地址:https://arxiv.org/abs/2002.06048 Layer-wise剪枝+AutoLR:深度网络微调中的层级剪枝和层级学习率的自动调整。 该方法可以逐层剪枝和自动调整逐层学习率来提高微调性能并降低网络复杂性。 摘要 现有的微调(fine-tuning)方法在所有层上使用单一学习率。在本文中,首先,我们讨论了通过使