神经网络从神经元到深度学习

感知器只能做简单的线性分类任务.Minsky在1969年出版了一本叫Perceptron的书里面用详细的数学证明了感知器的弱点尤其是感知器对XOR异或这样的简单分类任务都无法解决.Minsky认为如果将计算层增加到两层计算量则过大而且没有有效的学习算法.所以他认为研究更深层的网络是没有价值的.由于Minsky的巨大影响力以及书中呈现的悲观态度让很多学者和实验室纷纷放弃了神经网络的研究.神经网络的研究陷入了冰河期.这个时期又被称为AI winter.理论证明两层神经网络可以无限逼近任意连续函数.不过两层神经网络的计算是一个问题没有一个较好的解法.1986年Rumelhar和Hinton等人提出了反向传播Backpropagation BP算法解决了两层神经网络所需要的复杂计算量问题从而带动了业界使用两层神经网络研究的热潮.两层神经网络在多个地方的应用说明了其效用与价值.10年前困扰神经网络界的异或问题被轻松解决.神经网络在这个时候已经可以发力于语音识