pytorch  网络参数 weight bias 初始化详解

权重初始化对于训练神经网络至关重要，好的初始化权重可以有效的避免梯度消失等问题的发生。在pytorch的使用过程中有几种权重初始化的方法供大家参考。编写好weights_init函数后，可以使用模型的apply方法对模型进行权重初始化。第2节中的内容可以满足一般的参数分组需求，此部分可以满足更个性化的分组需求。使用此方法的前提是，须按下文1,2中的方式定义模型，或者利用Sequential+OrderedDict定义模型。参数分组的区别，其实对应了模型构造时的区别。