ntm:pytorch中的神经图灵机 源码

ntm-pytorch中的神经图灵机 pytorch中的实现。 目的是实现一个具有1个读头和1个写头的简单NTM,以重现原始纸张的结果。 复制任务 复制任务测试NTM是否可以存储和调用长序列的任意信息。 为网络提供了随机二进制矢量的输入序列,后跟定界符标志。 目标序列是输入序列的副本。 在模型接受目标时,不会向模型提供任何输入,以确保没有任何帮助。 该模型在1到20个8位随机向量的序列上训练。 在不到5万次的迭代中,模型通常变得非常准确。 这是与目标序列相比20的净输出。 这是与100个序列的目标相比的净输出。请注意,该网络仅使用20个或更少的序列进行训练。 这是一个训练期间损失的示例(种子= 1),批处理大小为8。 重复复制任务 如论文所述,“重复复制任务通过要求网络将复制的序列输出指定的次数然后发出序列结束标记来扩展复制。网络接收随机长度的序列。daccess-ods.u