Tensorflow2.0之BatchNorm层

Tensorflow2.0之BatchNorm层 简介: 卷积神经网络的出现,网络参数量大大减低,使得几十层的深层网络成为可能。然而,在残差网络出现之前,网络的加深使得网络训练变得非常不稳定,甚至出现网络长时间不更新甚至不收敛的现象,同时网络对超参数比较敏感,超参数的微量扰动也会导致网络的训练轨迹完全改变。 2015 年,Google 研究人员Sergey Ioffe 等提出了一种参数标准化(Normalize)的手段,并基于参数标准化设计了Batch Nomalization(简写为BatchNorm,或BN)层 [6]。BN 层的提出,使得网络的超参数的设定更加自由,比如更大的学习率、更随