批量归一化和残差网络、稠密连接网络

批量归一化 批量归一化(BatchNormalization) 对输入的标准化(浅层模型) 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化(深度模型) 利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。 1.全连接层的批量归一化 前两条公式是一个全连接层的普通实现方式,批量归一化的过程处在两条公式之间,对输出层维度的i个x计算μ和σ,然后计算新的x(i),再通过激活函数得到输出 这里ε > 0是个很小的常数,保证分母大于0 卷积层的批量归一化 位置:卷积计算之后、应用激活