【论文笔记】A Theoretically Grounded Application of Dropout in Recurrent Neural Networ

这篇论文从贝叶斯论的角度分析了RNN网络的优化过程,并以此为基础提出了一种对RNN有效的dropout方法。它用到了近似变分推断的数学方法,这个我啃了好久还是苦于数学能力看得云里雾里。但还是先把笔记记下来吧。 1.介绍与现状 作者提出,RNN因为缺少正则化,很容易陷入过拟合。现在也有许多这方面的努力,特别是之前还有人基于实验结果提出在RNN上运用dropout效果反而会变差这种结论。作者反驳说这些结论都是基于实验得出,而他从数学角度分析,得出了一种变分dropout方法,可以应用到RNN中,并取得了SOTA效果。 现阶段(指16年),人们做出的努力包括: 只为解码阶段的模型添加噪音 使用传统方