Pytorch——梯度下降的变化数据预处理权重初始化防止过拟合

文章目录梯度下降的变化1. SGD随机梯度下降2. Momentum3. Adagrad4. RMSprop5. Adam数据预处理1. 中心化2. 标准化3. PCA主成分分析4. 白噪声权重初始化1. 随机初始化2. 稀疏初始化3. 初始化偏置(bias)4. 批标准化(Batch Noemalization)防止过拟合1. 正则化2. Dropout 梯度下降的变化 1. SGD随机梯度下降 每次使用一批(batch)数据进行梯度的计算,而不是计算全部的梯度 2. Momentum SGD的同时,增加动量(momentum),帮助梯度跳出局部最小点 3. Adagrad 自适应学习率(a