Deep Learning_Task3_过拟合、欠拟合/梯度消失、梯度爆炸/循环神经网络进阶

一、过拟合、欠拟合及其解决方案 ·模型选择、过拟合和欠拟合 训练误差(training error):模型在训练数据集上表现出来的误差 泛化误差(generalization error):模型在任意一个测试样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似 计算训练误差和泛化误差可以使用损失函数,比如平方损失函数和交叉熵损失函数等 模型选择 验证数据集 在严格意义上,测试集只能在所有超参数和模型参数选定后使用一次,不可以使用测试数据选择模型,如调参;而由于无法通过训练误差估计泛化误差,所以也不能只依赖训练数据选择模型 鉴于此,选择预留一部分在训练数据集和测试数据集以外的数据来进行模