DL notes 03:机器翻译(MT)/NLP 基础知识

文章目录一、机器翻译1.1 数据预处理和清洗1.2 文本预处理1.2.1 分词1.2.2 建立字典1.2.3 将词转为索引1.3 语言模型nnn元语法1.4 时序数据的采样随机采样相邻采样二、Encoder-DecoderSeq2Seq 模型初探Beam Search 一、机器翻译 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 1.1 数据预处理和清洗 将数据集清洗、转化为神经网络的输入minbatch,这是任何一个神经网络应用的首要步骤。 字