rapids ai BBO 2nd place solution 源码

BBO NeurIPS 2020的NVIDIA RAPIDS.AI解决方案 我们获得了:找到用于机器学习的最佳黑盒优化器(BBO) 。 :party_popper: 我们提出了一种简单的黑箱优化器集成算法,该算法优于任何单个优化器,但在相同的时序预算内。 由于测试用例的数量随模型,数据集和指标呈指数增长,因此优化器的评估是一项计算量大且耗时的任务。 在我们的案例中,我们需要评估15个优化器,执行4,230个工作,训练270万个模型并运行541,440个优化(建议观察) 。 利用库和 ,我们的GPU加速详尽搜索能够在合理的时间内找到最佳集合。 在DGX-1上,搜索时间从两个20核CPU上的10天以上减少到了8个GPU上的24小时以下。 更新 我们的论文发表在arxiv上! 如果您想引用我们的工作,请使用以下BibTeX: @misc{liu2020gpu, title={GPU Accelerated