动手深度学习 笔记 8

机器翻译和数据集 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 数据预处理 将数据集清洗、转化为神经网络的输入minbatch。数据预处理的过程中,我们首先需要对数据进行清洗。 分词 字符串—单词组成的列表。 建立词典 单词组成的列表—单词id组成的列表。 注意力机制 当输入的维度大于2时,默认情况下,Dense实例会将除了第一维(样本维)以外的维度均视作需要仿射变换的特征维,并将输入自动转成行为样本、列为特征的二维矩阵。计算后,输出矩阵的形状