论文研究 批量正则化DBN分类方法研究.pdf

针对深度置信网络(DBN)在微调过程中易受训练参数影响的问题,提出一种批量正则化DBN分类方法(BNDBN)。该方法首先利用DBN进行无监督学习以获得原始数据的高层次表达;然后通过引入尺度变换和平移变换参数对网络中间层的输出特征每一维进行批量正则化处理,并将处理后的特征输入到非线性变换激活层中;最后使用随机梯度下降法对仿射变换参数以及原始网络的参数进行训练学习。BNDBN方法减少了梯度对参数规模的依赖性,有效地解决了因网络参数变化而造成的激活函数值分布变化的问题,提高了训练效率。为了检验所提出方法的有效性,选取MNIST手写体数据库和USPS手写数字识别库进行测试,通过与Dropout-DBN