Dive into deep learning task 04 机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer

6 机器翻译 机器翻译是一种序列到序列的模型。为了实现对语料的训练 ,需要对应的单词表,即平行语料。机器翻译要将序列处理成定长的向量,然后输入到rnn中(lstm,gru),然后变成中间向量,再通过decode方式编码输出最大可能的序列,即encoder-> vector->decoder的编解码方式。 语料要通过预处理(清洗,分词,转化成词典,转化成数据集),然后作词向量嵌入后,输入神经网络。 这就是所谓的seq2seq模型。简单的s2s模型的缺点是中间向量长度有限,不能充分表达输入,特别是有限长的向量不能表达长句子的意义。 普通的RNN存在长程梯度消失问题,即比较深的传递后,数值很大,达到