22 language model学习笔记

在语言建模问题中,我们想读取一些语句,从而让神经网络在一定程度上学会生成自然语言 在下图中,我们有一个字符集[h,e,l,o]和一个训练序列样例hello 在这里语言模型的训练阶段,我们将这个字符序列作为输入项xt,考虑到是一个字母所以这里我们采用的方法是将其中一个字母所在元素对应index在为位置表为1其他标位0。 随着数字前向传播,神经网络会接收到输入h,该输入会进入RNN单元中,之后输出yt,即网络对组成单词的每个字母做出预测,也就是它觉得最有可能出现的字母,在这个例子中,因为我们训练的字母序列是hello,那么下一个正确的字母应该是e,但有可能它认为o是最有可能的下一个字母,在这种错