indrnn:独立循环神经网络的TensorFlow实现 源码

独立递归神经网络 简单TensorFlow实现 Shuai Li等人 。 作者在Theano和Lasagne中的原始实现可在找到。 概要 在IndRNN中,循环层中的神经元彼此独立。 基本的RNN用h = act(W * input + U * state + b)计算隐藏状态h 。 IndRNN使用逐元素向量乘法u * state这意味着每个神经元都具有与其最后一个隐藏状态相关的单个递归权重。 IndRNN 可以有效地与ReLU激活功能一起使用,从而更容易堆叠多个递归层而不会使梯度饱和 允许更好的解释性,因为同一层中的神经元彼此独立 通过调节每个神经元的周期性体重来防止梯度消失和爆炸 用