伯禹AI – task03 过拟合、欠拟合及其解决方案 梯度消失与爆炸、循环神经网络进阶

在介绍以上概念之前要理解 训练集、测试集与验证集的区分: 从严格意义上讲,测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型,如调参。由于无法从训练误差估计泛化误差,因此也不应只依赖训练数据选择模型。鉴于此,我们可以预留一部分在训练数据集和测试数据集以外的数据来进行模型选择。这部分数据被称为验证数据集,简称验证集(validation set)。例如,我们可以从给定的训练集中随机选取一小部分作为验证集,而将剩余部分作为真正的训练集。 训练误差(training error)和泛化误差(generalization error)的区分: 通俗来讲,