pytorch实现task4——机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer

机器翻译 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 其主要的步骤包括数据预处理、分词、建立词典、载入数据集、Encoder-decoder、seq2seq等。 注意力机制与Seq2seq模型 在“编码器—解码器(seq2seq)”一节里,解码器在各个时间步依赖相同的背景变量(context vector)来获取输入序列信息。当编码器为循环神经网络时,背景变量来自它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码,然后将其传递给解码器