动手学深度学习 Task4 笔记

机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer 2.15-2.19 一、机器翻译及相关技术 定义: 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理 分词 建立词典 载入数据集 二、注意力机制与Seq2seq模型 在“编码器—解码器(seq2seq)”一节里,解码器在各个时间步依赖相同的背景变量(context vector)来获取输入序列信息。当编码器为循环神经网络时,背景变量来自它最终时间步的隐藏状态。将