基于Transformer模型的智能问答原理详解

图一就是Transformer模型的框架,不过这里的encoder和decoder不再是RNN结构,拆开来看,细节如图二:原始论文里,作者设置了6层encoder与6层decoder结构。至于为什么是6,这就是一个超参数而已,可以根据实际情况设置为其他值。从图二中可以看到,计算流程是:输入的句子经过逐层编码后,最上层的encoder会输出中间结果,这个中间结果在每一层decoder中都会用到。同时decoder的计算也是从下往上进行,直到最后输出预测结果。这里省略的是最下层decoder的输入:如果是训练过程,输入则是真实的目标句子;如果是预测过程,第一个输入开始标识符,预测下一个词,并且把这