从seq2seq模型到Transformer以及机器翻译小记

seq2seq模型 基本概念 顾名思义,seq2seq模型是指,模型的输入是一个sequence序列,而模型的输出也是sequence序列,其模型结构可以表示为Encoder-Decoder结构,如下图: 其中encoder与decoder都是使用循环神经网络(RNN)实现的。其中的语义编码则是encoder的隐藏状态。其中包括了encoder中的语义信息,作为decoder的输入,从而使用decoder得到输出。 训练以及预测时的方式如下: 具体结构: 实现方式 encoder-decoder的实现方式如下: class Encoder(nn.Module): def __in