动手学深度学习(四):机器翻译

机器翻译和注意力机制 机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同,所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。 步骤 1、读取和预处理 2、含注意力机制的编码器—解码器 我们将使用含注意力机制的编码器—解码器来将一段简短的法语翻译成英语。 (1)编码器 (2)注意力机制 在“编码器—解码器(seq2seq)”一节里,解码器在各个时间步依赖相同的背景变量(context vector)来获取输入序列信息。当编码器为循环神经网络时,背景变量来自它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码,然后将其传递给解码器