ConvNorm:卷积归一化的正式实施:改进深度神经网络的鲁棒性和培训 源码

转换规范 该存储库是卷积归一化的官方实现:提高深度神经网络的鲁棒性和培训 我们介绍了一种简单有效的“卷积归一化”方法,该方法可以充分利用傅立叶域中的卷积结构,并作为简单的即插即用模块,可以方便地合并到任何ConvNets中。 我们表明,卷积归一化可以减少权重矩阵的分层频谱范数,从而改善网络的Lipschitzness,从而为深度ConvNets简化训练并提高鲁棒性。 将其应用于噪声破坏和生成对抗网络(GAN)下的分类中,我们表明卷积归一化可提高常见ConvNet(例如ResNet)的鲁棒性和GAN的性能。 这些图显示了激活k = 1,...,C通道时BatchNorm和ConvNorm之间