FRN+TLU小batch size训练的福音

论文地址:https://arxiv.org/pdf/1911.09737.pdf 笔记内容: 论文总览 论文图表与内容 Normalization各种方法回顾(BN,GN,LN,IN) 论文总览: 1、解决的问题:BN(Batch Normalization)在mini-batch尺寸太小的时候会降低训练效果,GN(Group Normalization),Batch Renormalization都在解决这些问题,但是达不到BN在大batch上的表现,或在小batch上表现不佳 2、FRN表现:FRN结合归一化和激活函数的方式,替代其他的归一化与激活函数的结合,在各个batch si