Cross iterationBatchNorm 源码

交叉迭代批量归一化 ,,,,。 此回购协议是基于open-mmlab的mmdetection在COCO对象检测上的正式实现。该存储库包含CBN层的PyTorch实现,以及一些训练脚本来重现本文中报告的COCO对象检测和实例分割结果。 介绍 CBN在最初描述 。批量标准化的一个众所周知的问题是,在小批量生产的情况下,其有效性显着降低。在这里,我们介绍了交叉迭代批量归一化(CBN),其中多个近期迭代的示例被联合利用以提高估计质量。一个挑战是,由于网络权重的变化,来自不同迭代的网络激活彼此之间不具有可比性。因此,我们通过基于泰勒多项式的拟议技术来补偿网络权重变化,从而可以准确地估计统计量。在小批量的小尺寸物体检测和图像分类中,发现CBN优于原始的批次归一化和直接计算统计数据,而无需提出补偿技术。 引用CBN @article{zhu2020CBN, title={Cross-Iterati