“动手学深度学习” task345

循环神经网络 首先,循环神经网络可以为语言模型来建模。 1.语言模型 语言模型:给定一个一句话前面的部分,预测接下来最有可能的一个词是什么。 使用循环神经网络之前,语言模型主要是采用N-Gram。N可以是一个自然数,比如2或者3。它的含义是,假设一个词出现的概率只与前面N个词相关。我们以2-Gram为例。首先,对前面的一句话进行切词: 陈 幺儿 今天 中午 偷吃 鸡腿,我 打 了 她 ___。 如果用2-Gram进行建模,那么电脑在预测的时候,只会看到前面的『了』,然后,电脑会在语料库中,搜索『了』后面最可能的一个词。不管最后电脑选的是不是『屁股』,我们都知道这个模型是不