2 13 超参数搜索代码实战

一、 概念 在神经网络中有许多参数,而超参数就是神经网络训练过程中不变的参数,也就是在训练之前设置好的参数, 而不是训练 得到的参数。比如说,神经网络结构:层数,宽度,激活函数、训练参数:batch_size,学习率,学习率衰减算法。 而超参数搜索就是让机器自己选择合适的超参数的值,以省下我们大量的精力。 二、 搜索策略 超参数的搜索策略一共有以下几种 2.1 网格搜索 2.2 随机搜索