【动手学——多层感知机】day03_multilayer perceptron从零实现

multilayer perceptron多层感知机 一、多层感知机的基本知识 隐藏层 下图展示了一个多层感知机的神经网络图,它含有一个隐藏层,该层中有5个隐藏单元。 含单层隐藏层的多层感知机公式: 从联立后的式子可以看出,虽然神经网络引入隐藏层,但依然等价于一个单层神经网络。不难发现,即便添加再多的隐藏层,以上设计只能等价于仅含输出层的单层神经网络。所以,如果需要对隐藏层的输出作一些非线性变化,就需要引入激活函数。 *多层感知机中引入激活函数的原因: 将多个无激活函数的线性层叠加起来,其表达能力与单个线性层相同,所以,如果需要对隐藏层的输出作一些非线性变化,就需要引入激活函数 二、使用