Pytorch中的激活函数

介绍神经网络的时候已经说到,神经元会对化学物质的刺激进行,当达到一定程度的时候,神经元才会兴奋,并向其他神经元发送信息。神经网络中的激活函数就是用来判断我们所计算的信息是否达到了往后面传输的条件。 为什么激活函数都是非线性的 因为如果使用线性的激活函数,那么input跟output之间的关系始终为线性的,这样完全可以不使用网络结构,直接使用线性组合即可。 所以需要激活函数来引入非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中,增加了神经网络模型泛化的特性。 一般只有在输出层有极小的可能性使用线性激活函数,在隐含层都使用非线性激活函数. 常见的激活函