动手学深度学习:梯度消失、梯度爆炸

动手学深度学习:梯度消失、梯度爆炸 内容摘自伯禹人工智能AI公益课程 目录: 梯度消失和梯度爆炸的基本概念 考虑到环境因素的其他问题 Kaggle房价预测# 梯度消失、梯度爆炸以及Kaggle房价预测 1、梯度消失和梯度爆炸的基本概念 1.1 梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。当神经网络的层数较多时,模型的数值稳定性容易变差。 假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsymbol{W}^{(l)}W(l),输出层H(L)\bold