伯禹学习平台:动手学深度学习2

因为前面那种写法过于累赘,所以改变写作策略,笔记是写给自己看的,所以把自己比较懂的都不写了,每段大概就两三句话让自己回头看的时候能知道这里讲的是什么,学习资料里简短的易懂的可能还会直接贴原文,这样可以节省大部分时间并且简洁,循环神经网络大多一笔带过。 学习笔记Task3 过拟合,欠拟合及其解决方案 过拟合就是拟合训练集过度,实际运用的泛化差,训练效果好验证差。 欠拟合就是拟合训练集不够,训练效果和验证都差。 过拟合就是模型过于依赖训练集,模型复杂或者训练集小参数多都会产生这种情况。欠拟合就是模型什么都没训练到,模型复杂度小,步长小训练次数少都会导致这个问题。 解决过拟合方法有:权重衰减法(L2