Task3: 过拟合、欠拟合;梯度消失梯度爆炸;循环神经网络进阶

过拟合、欠拟合及解决方案知识点总结 区分两种误差 训练误差为训练数据集(training data)上的误差; 泛化误差为模型在任意一个测试数据样本上表现的误差的期望(常通过测试数据(test data)集上的误差来近似)。使用损失函数(loss function)来计算两种误差(e.g. 平方损失函数、交叉熵)。机器学习的要重视降低泛化误差。 选择模型 把训练数据集分为真正的训练集和预留的验证集(validation set)。通过验证集来选择模型。此方法的改进方法为K折交叉验证(K-fold cross-validation)。 K折交叉验证: 把训练数据集分割为K个部众合的子数据集 做K