深度学习相关知识

一.过拟合、欠拟合及其解决方案 一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting); 另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(overfitting)。 在实践中,我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题,在这里我们重点讨论两个因素:模型复杂度和训练数据集大小。 方法1:L2 范数正则化 方法2:丢弃法 二.梯度消失、梯度爆炸 三.循环神经网络进阶 1.GRU 2.LSTM 长短期记忆long short-term memory : 遗忘门:控制上一时间步的记忆细胞 输入门:控制当前