动手学深度学习Task4

机器翻译及相关技术;注意力机制与Seq2Seq模型;Transformer 1.机器翻译及相关技术 2.注意力机制与Seq2Seq模型 3.Transformer 一 机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词,且 输出序列的长度可能与源序列的长度不同;输入序列长度可变,输出序列长度可变。 二 注意力机制与Seq2seq模型 2.1 注意力机制 “ 机器翻译及相关技术”中提到的Seq2Seq是一种静态的条件生成,因为在解码过程,条件永远都是context vect