为什么GRU可以解决长短记忆的问题
今天又要打卡了,很遗憾,我并没有太多时间去针对该问题做一个更好的整理和解释,只能把在回顾该模型时所产生的一些问题的主要部分记录一下,待日后能在回顾博客的时候,进一步找到解决方法 为什么GRU可以解决长短记忆的问题 我们知道,GRU是为了应对RNN的梯度爆炸问题,并且为了更好地捕捉到时间序列中时间步距离较大的依赖关系提出来的,因此提出来更新门和重置门的概念,通过两个门的应用,改变隐藏状态的计算方式,进而实现上面所要应对问题的解决方法 重置门有助于捕捉时间序列里短期的依赖关系 更新门有助于捕捉时间序列里长期的依赖关系 其中,重置门控制的是上一时间步的隐藏状态流入当前时间步的候选隐藏状态,即同一句话
用户评论