pytorch_task3过拟合欠拟合;梯度消失爆炸;循环神经网络

Task3过拟合、欠拟合及其解决方案训练误差、泛化误差模型选择验证数据集K折交叉验证过拟合欠拟合概念模型复杂度解决过拟合权重衰减(加上L2范数惩罚项)丢弃法梯度消失、梯度爆炸初始化模型参数Xavier随机初始化协变量偏移标签偏移概念偏移循环神经网络循环神经网络构造RNN简洁实现实践one-hot向量 过拟合、欠拟合及其解决方案 训练误差、泛化误差 前者指模型在训练数据集上表现出的误差。 后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 模型选择 验证数据集 从严格意义上讲,测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型,如调