GLOM:Geoffrey Hinton的论文“如何在神经网络中表示整体层次结构”的尝试实现 源码

格洛姆 尝试将Geoffrey Hinton的论文“如何在神经网络中表示整体层次结构”用于MNIST数据集。 跑步 在jupyter笔记本中打开以运行该程序,该程序期望Nvidia显卡可加速gpu。 实施细节 每向量个向量的三种类型的网络 自上而下的网络 自下而上的网络 注意同一层网络 每个网络将在当前层看到围绕当前网络输入向量的3x3向量网格。 这样做是为了允许信息在向量之间横向传播更快。 由于每个网络只能看到3x3的网格,而看不到较大的图像块,因此该技术可以用于任何大小的图像,并且可以并行化。 初始状态是,每个时间步之后,所有三种类型的网络都将添加到其中。 状态的最底层是输入向量,在其中保留了MNIST像素数据,并且没有添加任何内容来保留MNIST像素数据。 状态的顶层是将损耗函数应用于网络的输出层。 ##问题当前存在一个问题,网络将尝试使所有输出矢量相同。 认为此问题的根源是由