Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer知识点总结

机器翻译 把一种语言自动翻译为另一种,输出的是单词序列(其长度可能与原序列不同) 步骤为:数据预处理 —> Seq2Seq模型构建 —> 损失函数 —> 测试 数据预处理: 读取数据。 处理编码问题,删除无效字符串 分词。把字符串转化为单词列表。 建立字典。把单词组成的列表转化为单词索引的列表 在tf、pytorch这类框架中要做padding操作,使一个batch数据长度相等 定义数据生成器。 Seq2Seq 6. 先用循环神经网络编码成一个向量再解码输出一个序列的元素。然后通过比较此序列元素和真实标签计算损失来学习。 7. 进行编码、解码过程中,数据皆以时间步展开 8. 模型复杂度可通过