Seq2seq模型、机器翻译学习笔记

Seq2seq模型 当输入和输出都是不定长序列时,可以使用编码器—解码器(encoder-decoder) 或者seq2seq模型。这两个模型本质上都用到了两个循环神经网络,分别叫做编码器和解码器。编码器用来分析输入序列,解码器用来生成输出序列。 图中描述了使用编码器—解码器将英语句子翻译成法语句子的一种方法。在训练数据集中,可以在每个句子后附上特殊符号“”(end of sequence)以表示序列的终止。编码器每个时间步的输入依次为英语句子中的单词、标点和特殊符号“”。图中使用了编码器在最终时间步的隐藏状态作为输入句子的表征或编码信息。解码器在各个时间步中使用输入句子的编码信息和上个时间