深度学习入门 4(机器翻译注意力机制和Seq2seq模型Transformer)

深度学习入门-4(机器翻译,注意力机制和Seq2seq模型,Transformer)一、机器翻译1、机器翻译概念2、数据的处理3、机器翻译组成模块(1)Encoder-Decoder框架(编码器-解码器)(2)Sequence to Sequence模型(3)集束搜索(Beam Search)(i)简单贪心搜索(greedy search)(ii)维特比算法(iii)维特比算法二、注意力机制框架和Seq2seq模型1、注意力机制的引入2、注意力机制框架3、两个常用的注意力层(1)点积注意力(The dot product )(2)多层感知机注意力(Multilayer Perceptron Atte