过拟合、欠拟合 & 梯度消失、梯度爆炸 & 循环神经网络进阶

过拟合、欠拟合 过拟合、欠拟合的概念 权重衰减 丢弃法 训练误差与泛化误差 训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 模型选择 min⁡θ1N∑i=1NL(yi,fθ(xi))+λ∣∣θ∣∣2\min_{\theta}\frac{1}{N}\sum_{i=1}^{N}L(y_i,f_{\theta}(x_i))+\lambda||{\theta}||^2minθ​N1​∑i=1N​L(yi​,fθ​(x