OHO:在线超参数优化 源码

通过实时循环学习进行在线超参数优化 Daniel Jiwoong Im,Cristina Savin和Kyunghyun Cho提供的在线超参数优化(OHO)代码的Pytorch实现一种在线超参数优化算法,在理论上和实践上都渐近精确且在计算上易于处理。 我们的框架利用了递归神经网络(RNN)中超参数优化和参数学习之间的类比。 它为RNN改编了经过广泛研究的在线学习算法系列,可同时调整超参数和网络参数,而无需反复进行迭代优化。 与标准方法相比,此过程可在较短的时钟时间上系统地产生更好的泛化性能。 有关更多信息,请参见 @article { Im2015 , title = { Gene