动手学深度学习(四)

机器翻译及相关技术; 注意力机制与Seq2seq模型; Transformer 一 机器翻译及相关技术 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 首先,将数据集清洗、转化为神经网络的输入minbatch,分词,建立词典。# Encoder-Decoder encoder:输入到隐藏状态 decoder:隐藏状态到输出 二 注意力机制 在Dot-product Attention中,key与query维度需要一致,在MLP Attentio