论文研究 深度单峰梯形神经网络.pdf

近年来，深度学习在许多领域取得了巨大的成功，其中，激活函数是深度学习取得巨大成功的关键因素之一。根据生物神经元特性，针对ReLU右侧响应无界问题，提出了单峰梯形线性单元（Single-Peaked Trapezoid Linear Unit，SPTLU）。SPTLU更加符合生物神经元特性，且取得了等同和超越ReLU的优异性能，实验表明在不同数据集上都取得了很好的效果，例如，数据集MNIST，Fashion-MNIST，SVHN，CALTECH101和CIFAR10。