浅说深度学习之:序列学习

系列的第一篇概览了一下深度学习中的基本概念。第二篇介绍了深度学习的历史背景,以及如何高效地训练神经网络。而这一篇当中,我们将一起认识自然语言处理领域的核心:序列学习。图1:长短期记忆(LSTM)单元。 LSTM有四个输入权重和四个循环权重。Peepholes是记忆细胞和门之间的额外连接,但他们对性能提升帮助不到,所以常被忽略。 生活中的所有事物都是与时间相关的,也就形成了一个序列。为了对序列数据(文本、演讲、视频等)我们可以使用神经网络并导入整个序列,但是这样我们的数据输入尺寸