AI之梯度消失、梯度爆炸以及Kaggle房价预测

梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化考虑环境因素协变量偏移标签偏移概念偏移Kaggle 房价预测实战获取和读取数据集预处理数据训练模型对数均方根误差实现K折交叉验证模型选择预测并在Kaggle中提交结果 梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。 当神经网络的层数较多时,模型的数值稳定性容易变差。 假设一个层数为L的多层感知机的第lll层H(l)\pmb{H}(l)HHH(l)的权重参数为W(l)W(l)W(l),输出层H