DataWhale 深度学习 第二次打卡

第二次打卡学习笔记 1.过拟合欠拟合及其解决方案 2.梯度消失与梯度爆炸 3.循环神经网络进阶 4.机器翻译及相关技术 5.注意力机制与Seq2seq模型 6.Transfomer 7.卷积神经网络基础 8.LeNet 9.卷积神经网络进阶 过拟合欠拟合及其解决方案 在解释过拟合和欠拟合现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如