【动手学深度学习】Task03笔记汇总

Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 过拟合、欠拟合及其解决方案 第一反应是训练数据集大小带来的影响,或许有很多研究怎么丰富数据集的文献吧,数据集大,那么复杂的模型就更好发挥作用。 1.过拟合常用的模型层面的应对方法: 权重衰减,也即L2-Norm Regularization。从公式和名字易见,该方法加入了对权重系数的2范数作为惩罚项从而学习到数值较小的参数。(那么自然而然会产生的问题就是:为什么不对偏置做正则化,这个可以去实验一下,应该会发现偏置没有权重敏感) 丢弃法。我的理解是,按照设定的概率丢掉(置为0)某个参数单元,从而减少参数依赖性。丢掉