ElitesAI·动手学深度学习PyTorch版学习笔记 过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶

宅家中看到Datawhale的学习号召,在大牛云集的群上找到了一个很佛系的小组,战战兢兢地开始了小白的深度学习之旅。感谢Datawhale、伯禹教育、和鲸科技,感谢课程制作者、组织者、各位助教以及其他志愿者! 2 梯度消失、梯度爆炸 2.1 概念 当神经网络的层数较多时,模型的参数容易随着指数增长而迅速减小至接近零(梯度消失)或迅速增加至非常大(梯度爆炸),使模型的稳定性变差。 2.2 参数初始化 这就使得初始化参数的设置成为多层神经网络的重要考虑因素。但在神经网络中,如果每个隐藏单元的权重参数都设置为相同的值,无论隐藏单元有多少,本质上都相当于只有一个隐藏单元在发挥作用。我们通常将神经网络