动手学深度学习实现DAY 2

节选自“ElitesAI·动手学深度学习PyTorch版” Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶(1天) Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer(1天) Task05:卷积神经网络基础;leNet;卷积神经网络进阶(1天) 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现