pytorch入门NLP教程(二)——CBOW

在上一个教程中我们说到了NNLM,但是NNLM虽然考虑的一个词前面的词对它的影响,但是没有办法顾忌到后面的词,而且计算量较大,所以可以使用Word2vec中的一个模型CBOW。 目标:通过周围的词预测中心词w(t)w(t)w(t) 目标函数:J=∑ω∈corpusP(w∣content(w))J = \sum_{\omega\in corpus}P(w|content(w))J=∑ω∈corpus​P(w∣content(w)) 输入:上下文单词的onehot,假设单词向量空间dim为V,上下文单词个数为C,所以输入矩阵维度为C×VC\times VC×V PROJECTION:输入的向量