小结3:过拟合欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶

文章目录过拟合、欠拟合及其解决方法过拟合问题(high variance)欠拟合问题(high bias)梯度消失及梯度爆炸循环网络进阶 过拟合、欠拟合及其解决方法 过拟合问题(high variance) 过拟合问题:是指模型太过复杂,对训练数据效果好,而对新样本泛化能力较弱。 (训练误差低 验证误差高) 产生过拟合的可能原因,可能为其中之一或者都有: 模型的复杂度过高。如网络太深,神经网络中;或者线性回归中模型的阶次 过多的变量特征 训练数据过少 如何解决过拟合: 降低模型复杂度 减少特征数目 增加数据 正则化等 欠拟合问题(high bias) 欠拟合:指模型太过简单,不能对训练数据效果